方案优势 实时性:提供实时数据收集和分析能力。 轻量级:对系统资源的消耗非常低。它设计用于高性能和低延迟,可以一键部署在虚拟机环境。 省时省力:无需额外开发数据展示界面,简化研发工作量。 可扩展:水平扩展能力强,可以处理PB级别的数据。 前提条件 1. 已开通OpenSearch集群,操作步骤请参见创建OpenSearch实例。 2. 已申请
天翼云弹性
云服务器ECS,并安装了Filebeat环境,购买ECS请参见快速购买和使用Linux ECS。 操作步骤 1. 登录各数据采集节点的ECS,部署并
配置Filebeat。 a. 下载filebeat8.12.2linuxx8664。 b. 解压压缩包到指定路径: tar xvzf /opt/filebeat/filebeat8.12.2linuxx8664.tar.gz C /opt/filebeat/ c.
配置filebeat.yml: filebeat.inputs: type: filestream id: icmpid enabled: true paths: /opt/mooseping/output/result/icmp.log fields: kafkatopic: "icmpprobe" type: filestream id: httpid enabled: true paths: /opt/mooseping/output/result/http.log fields: kafkatopic: "httpprobe" filebeat.config.modules: path: ${path.config}/modules.d/.yml reload.enabled: false reload.period: 10s output.kafka: enabled: true hosts: ["kafka机器ip:kafka端口"] codec.format: string: '%{[message]}' topic: "%{[fields.kafkatopic]}" processors: addhostmetadata: when.not.contains.tags: forwarded addcloudmetadata: ~ adddockermetadata: ~ addkubernetesmetadata: ~ logging.level: warning d.
配置systemd服务: echo "Creating filebeat.service systemd service file..." cat <
来自: