运行Kafka作业
更新时间 2025-07-16 14:49:23
最近更新时间: 2025-07-16 14:49:23
本章节主要介绍翼MapReduce运行kafka作业。
用户可将自己开发的程序提交到翼MR中,执行程序并获取结果。本章节教您在翼MR集群后台如何提交一个新的kafka作业。
通过后台提交作业
登录翼MR管理控制台。
选择“我的集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
在“节点管理”页选中单击Master节点,选择要进入的Master节点。
单击该节点右侧的“远程连接”。
根据界面提示,输入Master节点的用户名和密码,用户名、密码分别为root和创建集群时设置的密码。
创建kafka的topic。
/usr/local/kafka/bin/kafka-topics.sh --zookeeper <Zookeeper_IP>:2181/kafka --topic <TopicName> --create
当前集群默认开启Kerberos认证,执行以下命令添加认证信息。
export KAFKA_OPTS="-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/usr/local/kafka/config/kafka-jaas.conf"
向topic中写入消息。
/usr/local/kafka/bin/kafka-console-producer.sh --broker-list <KafkaBroker_IP>:9092 --topic <TopicName> --producer.config /usr/local/kafka/config/producer.properties
消费topic中的消息。
/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server <KafkaBroker_IP>:9092 --topic <TopicName> --consumer.config /usr/local/kafka/config/consumer.properties --from-beginning --max-messages 5
注意
--from-beginning:只能消费未被消费的历史数据,已消费数据不会出现。
--max-messages:最多消费多少条数据。