添加作业 本章节主要介绍在天翼云大数据平台翼MapReduce的大数据集群中如何添加、运行作业。 用户可将自己开发的大数据应用程序提交到翼MapReduce中,执行程序并获取结果。 本章节以MapReduce作业为例,MapReduce作业用于提交jar程序快速并行处理大量数据,是一种分布式数据处理模式和执行环境。通过此次的指导,希望用户能够对如何在翼MapReduce服务中提交、运行MapReduce作业有清晰的认知。 当前翼MR服务尚不支持通过前台界面化进行作业提交、运行的功能。本次的介绍仅说明如何通过后台功能来提交作业。 通过后台提交作业 天翼云大数据平台 翼MapReduce服务中的大数据集群客户端默认安装路径为“/usr/local/”。 1. 登录翼MR管理控制台。 2. 选择“集群列表 > 我的集群”,选中一个运行中的集群并单击集群名,进入集群基本信息页面。 3. 选择“节点管理”,单击展开节点组,显示节点列表。 4. 在目标节点的右侧“操作”列中,单击“远程连接”。 5. 在VNC方式新标签页Web页面中,可以看到服务器的命令行界面,类似于Linux服务器登录模式,输入root账号,并输入密码。 6. 当前翼MR集群默认都是开启Kerberos认证,大数据集群服务及用户使用到的keytab文件默认放置在“/etc/security/keytabs/”目录下,执行以下命令做Kerberos认证。 kinit 翼MapReduce集群用户 进入“/etc/security/keytabs/”目录下,选择你要使用的keytab文件,本文以hdfs.keytab为例,执行如下命令,获取到正确的Principal名称。 klist kt hdfs.Keytab 使用上一步骤获取到的Principal名称,执行如下认证命令。 kinit kt hdfs.Keytab Principal 名称 7. 执行如下命令提交pi计算作业。 cd /usr/local/hadoop3/share/hadoop/mapreduce hadoop jar hadoopmapreduceexamples3.3.3.jar pi 10 10