使用Elasticsearch、Kibana实例以及Logstash搭建日志分析平台 工作机制 首先使用轻量级的Filebeat采集日志、其次使用Logstash接收Filebeat的输出,并对日志进行解析、添加或删除字段等处理、最后将数据输出到天翼云Elasticsearch实例,通过Kibana实例在前端可视化展示。 前提条件 已经开通天翼云云搜索Elasticsearch和Kibana实例,并完成Logstash实例加装。 已经部署Filebeat和Logstash并且打通和天翼云云搜索实例之间的网络。推荐使用Filebeat 7.10.2版本。 查看Kibana的终端可以访问到云搜索实例,设置好5601端口的网络安全策略。 操作步骤 配置Filebeat Filebeat采集日志,配置具体的日志路径。 plaintext 采集日志 filebeat.inputs: type: log 采集的日志文件的路径。替换为自己日志的路径,可以使用通配符。 paths: /yourpath/.log output.logstash: hosts: ["{logstaship}:5044"] 配置Logstash Logstash需要接收Filebeat的输出并进行处理,需要在Logstash管道管理模块中创建并部署管道。示例配置如下: plaintext input { beats { port > 5044 } } 对数据进行处理。 filter { mutate { removefield > ["@version"] } } output{ elasticsearch{ Elasticsearch实例的访问地址。 hosts > [" " " 访问Elasticsearch实例的用户名和密码,如无安全机制可不配置。 user > "" password > "" 配置写入的索引名,示例如下。 index > "filebeatlogstashes%{+YYYY.MM.dd}" } }