日志收集系统Flume接入Kafka Flume安装 Apache Flume官网下载地址: 下载apacheflume1.9.0bin.tar.gz。 解压安装tar zxvf apacheflume1.9.0bin.tar.gz 设置环境变量: vi ~/.bashprofile export FLUMEHOME /usr/local/apacheflume1.9.0bin export PATH FLUMEHOME/bin:PATH source ~/.bashprofile 修改Flume配置文件($ FLUMEHOME/conf): 按照模板复制出env.sh配置文件:cp flumeenv.sh.template flumeenv.sh 修改配置文件:vi flumeenv.sh,设置JAVAHOME: export JAVAHOME /usr/local/java/jdk1.8.0311 验证Flume安装是否成功: 至此,已完成Flume的安装与验证。 获取Kafka实例信息 1.登录天翼云Kafka专享版实例控制台。 2.在Kafka专享版页面,选择对应的实例,单击实例“名称”,进入实例基本信息页面。 3.在实例的基本信息页面的连接地址模块,可获取实例的IP地址与端口。 4.选择对应的Topic,如需创建Topic,请参考创建Topic。 配置Flume与Kafka互联 在$FLUMEHOME/conf下添加连接Kafka的配置文件:flumetokafka.conf,如下: 启动Flume并测试连接情况 启动Flume: bin/flumeng agent conf conf conffile conf/flumetokafka.conf name flumekafka Dflume.root.loggerINFO,console >./data.log 2>&1 &