添加作业 通过后台提交作业 翼MR 3.x及之后版本客户端默认安装路径为“/opt/Bigdata/client”,翼MR 3.x之前版本为“/opt/client”。具体以实际为准。 1.登录翼MR管理控制台。 2.选择“集群列表 > 现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 3.在“节点管理”页签中单击某一Master节点名称,进入弹性云服务器管理控制台。 4.单击页面右上角的“远程登录”。 5.根据界面提示,输入Master节点的用户名和密码,用户名、密码分别为root和创建集群时设置的密码。 6.执行如下命令初始化环境变量。 source/opt/Bigdata/client/bigdataenv 7.如果当前集群已开启Kerberos认证,执行以下命令认证当前用户。如果当前集群未开启Kerberos认证,则无需执行该步骤。 kinit 翼MR集群用户 例如, kinit admin 8.执行如下命令拷贝OBS文件系统中的程序到集群的Master节点。 hadoop fs Dfs.obs.access.keyAK Dfs.obs.secret.keySK copyToLocal sourcepath.jar targetpath.jar 例如: hadoop fs Dfs.obs.access.keyXXXX Dfs.obs.secret.keyXXXX copyToLocal "obs://翼MRword/program/hadoopmapreduceexamplesXXX.jar" "/home/omm/hadoopmapreduceexamplesXXX.jar" AK/SK可登录OBS控制台,请在集群控制台页面右上角的用户名下拉框中选择“我的凭证 > 访问密钥”页面获取。 9.执行如下命令提交wordcount作业,如需从OBS读取或向OBS输出数据,需要增加AK/SK参数。 source /opt/Bigdata/client/bigdataenv;hadoop jar executejar wordcount inputpath outputpath 例如: source /opt/Bigdata/client/bigdataenv;hadoop jar /home/omm/hadoopmapreduceexamplesXXX.jar wordcount Dfs.obs.access.keyXXXXDfs.obs.secret.keyXXXX "obs://翼MRword/input/" "obs://翼MRword/output/" inputpath为OBS上存放作业输入文件的路径。outputpath为OBS上存放作业输出文件地址,请设置为一个不存在的目录。