使用Flink客户端
更新时间 2026-01-05 15:16:00
最近更新时间: 2026-01-05 15:16:00
本节提供使用Flink运行wordcount作业的操作指导。
前提条件
翼MR集群中已安装Flink组件。
集群正常运行,已安装集群客户端,例如安装目录为“/user/local/flink”。以下操作的客户端目录只是举例,请根据实际安装目录修改。
使用Flink客户端
安装客户端,具体请参考安装客户端章节。
登录安装客户端的节点。
执行以下命令,切换到客户端安装目录,例如“/user/local/flink”。
cd /user/local/flink执行如下命令初始化环境变量。
source bigdata_env集群默认开启Kerberos认证,需要将实际的keytab文件路径替换以下命令中的/path/example.keytab,执行命令进行认证。
kinit -kt /path/example.keytab `klist -kt /path/example.keytab |sed -n 4p |awk '{print $NF}'`同时,应配置安全认证。在“/usr/local/flink/conf/flink-conf.yaml”配置文件中的对应配置添加keytab路径以及用户名。
security.kerberos.login.use-ticket-cache: true security.kerberos.login.keytab: <user.keytab 文件路径 > security.kerberos.login.principal: user security.kerberossecurity.login.contexts: Client,KafkaClient例如
security.kerberos.login.keytab: /etc/security/keytabs/hdfs.keytab security.kerberos.login.principal: hdfs运行wordcount作业。
首先启动Flink集群。
/usr/local/flink/bin/start-cluster.shSession模式:执行如下命令在session中提交作业。
提交成功后,会返回已提交的Flink作业的YARN Application ID以及Web地址,访问Web地址以通过Web UI的方式查看作业状态。
yarn-session.sh -nm "session-name" --detachedflink run /usr/local/flink/examples/streaming/WordCount.jarPer-Job模式:执行如下命令以Per-Job方式提交作业。
提交成功后,会返回已提交的Flink作业的YARN Application ID以及Web地址,访问Web地址以通过Web UI的方式查看作业状态。
flink run -t yarn-per-job --detached /usr/local/flink/examples/streaming/WordCount.jarApplication模式:执行如下命令以Application方式提交作业。
提交成功后,会返回已提交的Flink作业的YARN Application ID以及Web地址,访问Web地址以通过Web UI的方式查看作业状态。
flink run-application -t yarn-application/usr/local/flink/examples/streaming/WordCount.jar