分布式消息服务DMS提供日志实时处理管道,您可以通过分布式消息服务API实时消费处理日志。
说明
目前该功能仅支持白名单用户邀测使用,具体以产品评估结果为准。
前提条件
日志已接入LTS。
在注册DMS Kafka实例前,需在安全组中开放9011端口。
日志转储至DMS
在云日志服务管理控制台,左侧导航栏中,单击“日志转储”。
在“日志转储”页面右上角,单击“配置转储”。
在“配置转储”页面,设置转储日志相关参数。
单击“确定”,完成配置。当转储任务状态为“正常”时,表示转储任务创建成功。
单击“转储对象”列的名称,可跳转到Kafka实例的基本信息页面。创建转储任务成功后,支持查看、修改、删除转储任务。
转储任务一旦删除将不再对日志进行转储,请谨慎操作。
删除转储任务后,之前已经转储日志将会继续保存在DMS。
表 配置转储参数说明
| 参数名称 | 说明 | 示例 |
| 日志源 |
| 当前账号 |
| 委托名称 | 当转储其他账号时,需填写委托人在IAM中创建的委托名称。 | - |
| 委托人账号名称 | 当转储其他账号时,需填写委托人的账号名称。 | - |
| 是否开启转储 | 默认开启转储。 | 开启 |
| 转储对象 | 选择转储的云服务。 | DMS |
| 日志组名称 | 选择已创建的日志组。 | - |
| 企业项目 | 选择已创建的企业项目。
| - |
| 日志流名称 | 选择已创建的日志流。 已配置过DMS转储的日志流不能重复配置。 | - |
| Kafka实例 | 选择Kafka实例。如果没有可选择的实例,单击“查看Kafka实例”,进入分布式消息服务控制台,创建Kafka实例。 如果Kafka实例已注册(如果未注册,请注册Kafka实例),可以选择修改Kafka实例。 | - |
| Topic | 选择Kafka实例的Topic,如果没有可选择的topic,进入分布式消息服务控制台,在待转储的Kafka实例中的“Topic管理”页面,创建Topic。 | topic-01 |
| 转储格式 | 用于配置日志的转储格式,可选择“原始日志格式”和“JSON格式”。
云日志服务控制台展示的日志内容的格式为原始日志格式。 Sep 30 07:30:01 ecs-bd70 CRON[3459]: (root) CMD (/opt/oss/servicemgr/ICAgent/bin/manual/mstart.sh > /dev/null 2>&1)
{"host_name":"ecs-bd70","ip":"192.168.0.54","line_no":249,"message":"Sep 30 14:40:01 ecs-bd70 CRON[4363]: (root) CMD (/opt/oss/servicemgr/ICAgent/bin/manual/mstart.sh > /dev/null 2>&1)\n","path":"/var/log/syslog","time":1569825602303} | RAW |
| 转储周期 | 日志将实时转储至Kafka实例中。 | 实时 |