Logstash实例通过配置管道定义数据处理方案,从指定的数据源(input)迁移数据到目标目的端(output)。
约束限制
创建的管道文件大小不能超过50KB。
前提条件
创建管道前,必须先获取数据源和目的端的服务器或集群信息,例如IP地址、用户名、密码等。
创建管道
登录云搜索服务管理控制台。
左侧导航栏选择“Logstash实例管理”,进入实例列表页面。
在实例列表,单击实例名称,进入实例基本信息页面,在左侧导航栏选择“管道管理”,进入管道管理页面。
单击右上角“新建管道”,进入新建管道页面,编辑管道文件&参数。
参数 | 说明 |
---|---|
管道名称 | 自定义管道名称,实例内不可重复 |
管道描述 | 作业管道的描述信息,非必填 |
管道工作线程数 | 并行执行管道的Filters和Outputs阶段的工作线程数。 |
管道批处理大小 | 每个批次处理的最大事件数量 |
管道批处理延迟 | 当管道批处理大小不满足时,每个批次最大的等待时间,单位为毫秒 |
队列类型 | 用于事件缓冲的排队模型,可选值为: memory:基于内存的队列 persisted:基于磁盘的持久化队列 |
队列最大字节数 | 当选择 persisted 队列类型时,队列中可存放的最大字节数量,需确保该值小于实例单节点的磁盘容量 |
队列检查点写入数 | 当选择 persisted 队列类型时,在强制执行检查点时已写入的最大的事件数量,若设置为0,则表示无限制 |
编辑完成的管道需要单击保存或者保存并部署,部署后的管道才会生效。