使用Flink客户端 本节提供使用Flink运行wordcount作业的操作指导。 前提条件 翼MR集群中已安装Flink组件。 集群正常运行,已安装集群客户端,例如安装目录为“/user/local/flink”。以下操作的客户端目录只是举例,请根据实际安装目录修改。 使用Flink客户端 1. 安装客户端,具体请参考安装客户端章节。 2. 登录安装客户端的节点。 3. 执行以下命令,切换到客户端安装目录,例如“/user/local/flink”。 plaintext cd /user/local/flink 4. 执行如下命令初始化环境变量。 plaintext source bigdataenv 5. 集群默认开启Kerberos认证,需要将实际的keytab文件路径替换以下命令中的/path/example.keytab,执行命令进行认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 同时,应配置安全认证。在“/usr/local/flink/conf/flinkconf.yaml”配置文件中的对应配置添加keytab路径以及用户名。 plaintext security.kerberos.login.useticketcache: true security.kerberos.login.keytab: security.kerberos.login.principal: user security.kerberossecurity.login.contexts: Client,KafkaClient 例如 plaintext security.kerberos.login.keytab: /etc/security/keytabs/hdfs.keytab security.kerberos.login.principal: hdfs 6. 运行wordcount作业。 1. 首先启动Flink集群。 plaintext /usr/local/flink/bin/startcluster.sh 2. Session模式:执行如下命令在session中提交作业。 提交成功后,会返回已提交的Flink作业的YARN Application ID以及Web地址,访问Web地址以通过Web UI的方式查看作业状态。 plaintext yarnsession.sh nm "sessionname" detachedflink run /usr/local/flink/examples/streaming/WordCount.jar 3. PerJob模式:执行如下命令以PerJob方式提交作业。 提交成功后,会返回已提交的Flink作业的YARN Application ID以及Web地址,访问Web地址以通过Web UI的方式查看作业状态。 plaintext flink run t yarnperjob detached /usr/local/flink/examples/streaming/WordCount.jar 4. Application模式:执行如下命令以Application方式提交作业。 提交成功后,会返回已提交的Flink作业的YARN Application ID以及Web地址,访问Web地址以通过Web UI的方式查看作业状态。 plaintext flink runapplication t yarnapplication/usr/local/flink/examples/streaming/WordCount.jar
来自: