活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 618智算钜惠季 爆款云主机2核4G限时秒杀,88元/年起!
  • 免费体验DeepSeek,上天翼云息壤 NEW 新老用户均可免费体验2500万Tokens,限时两周
  • 云上钜惠 HOT 爆款云主机全场特惠,更有万元锦鲤券等你来领!
  • 算力套餐 HOT 让算力触手可及
  • 天翼云脑AOne NEW 连接、保护、办公,All-in-One!
  • 中小企业应用上云专场 产品组合下单即享折上9折起,助力企业快速上云
  • 息壤高校钜惠活动 NEW 天翼云息壤杯高校AI大赛,数款产品享受线上订购超值特惠
  • 天翼云电脑专场 HOT 移动办公新选择,爆款4核8G畅享1年3.5折起,快来抢购!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

智算服务

打造统一的产品能力,实现算网调度、训练推理、技术架构、资源管理一体化智算服务
智算云(DeepSeek专区)
科研助手
  • 算力商城
  • 应用商城
  • 开发机
  • 并行计算
算力互联调度平台
  • 应用市场
  • 算力市场
  • 算力调度推荐
一站式智算服务平台
  • 模型广场
  • 体验中心
  • 服务接入
智算一体机
  • 智算一体机
大模型
  • DeepSeek-R1-昇腾版(671B)
  • DeepSeek-R1-英伟达版(671B)
  • DeepSeek-V3-昇腾版(671B)
  • DeepSeek-R1-Distill-Llama-70B
  • DeepSeek-R1-Distill-Qwen-32B
  • Qwen2-72B-Instruct
  • StableDiffusion-V2.1
  • TeleChat-12B

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场创新解决方案
办公协同
  • WPS云文档
  • 安全邮箱
  • EMM手机管家
  • 智能商业平台
财务管理
  • 工资条
  • 税务风控云
企业应用
  • 翼信息化运维服务
  • 翼视频云归档解决方案
工业能源
  • 智慧工厂_生产流程管理解决方案
  • 智慧工地
建站工具
  • SSL证书
  • 新域名服务
网络工具
  • 翼云加速
灾备迁移
  • 云管家2.0
  • 翼备份
资源管理
  • 全栈混合云敏捷版(软件)
  • 全栈混合云敏捷版(一体机)
行业应用
  • 翼电子教室
  • 翼智慧显示一体化解决方案

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
  • 天翼云EasyCoding平台
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼云东升计划
  • 适配中心
  • 东升计划
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
开放能力
  • EasyCoding敏捷开发平台
培训与认证
  • 天翼云学堂
  • 天翼云认证
魔乐社区
  • 魔乐社区

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 建议与反馈
  • 用户体验官
  • 服务保障
  • 客户公告
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 智算服务
  • 产品
  • 解决方案
  • 应用商城
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      文档中心

      云搜索服务

      云搜索服务

        • 产品动态
        • 产品简介
        • 产品定义
        • 产品优势
        • 功能特性
        • 产品组件
        • 应用场景
        • 术语解释
        • 安全模式集群简介
        • 跨AZ高可用性介绍
        • 与其他服务之间的关系
        • 权限管理
        • 约束与限制
        • 计费说明
        • 资源节点
        • 产品规格
        • 产品价格
        • 计费模式
        • 购买
        • 变更
        • 续订
        • 退订
        • 快速入门
        • 注册天翼云账号
        • 快速开始使用Elasticsearch搜索引擎
        • 用户指南
        • 权限管理
        • 创建用户并授权使用ES
        • ES自定义策略
        • 使用Elasticsearch搜索数据
        • 导入数据到Elasticsearch
        • 使用Logstash导入数据到Elasticsearch
        • 使用Kibana或API导入数据到Elasticsearch
        • 创建并接入集群
        • 创建Elasticsearch集群
        • 接入集群
        • 自定义词库
        • 配置自定义词库
        • 使用示例
        • 简繁体转换插件
        • 管理Elasticsearch类型集群
        • 集群状态和存储容量状态说明
        • 集群列表简介
        • 备份与恢复索引
        • 变更规格
        • 绑定企业项目
        • 重启集群
        • 迁移集群
        • 删除集群
        • 标签管理
        • 公网访问
        • 日志管理
        • 插件管理
        • 冷热数据存储
        • 参数配置
        • 终端节点服务
        • Kibana公网访问
        • 向量检索
        • 场景描述
        • 向量检索的集群规划
        • 创建向量索引
        • 向量查询
        • 向量检索的性能调优
        • (可选)预构建与注册
        • 管理向量索引缓存
        • 向量检索的客户端代码示例
        • 查询Elasticsearch SQL
        • Elasticsearch使用建议
        • Logstash
        • 管理Logstash集群
        • 创建Logstash集群
        • 查看Logstash集群的基本信息
        • 绑定企业项目
        • 强制重启集群
        • Logstash集群形态变更
        • 扩容
        • 变更规格
        • Logstash集群配置
        • 配置中心
        • Logstash配置文件样例
        • 日志管理
        • 索引状态管理
        • 创建及管理索引
        • 变更策略
        • 监控集群
        • 支持的监控指标
        • 创建告警规则
        • 配置监控对象
        • 查看监控指标
        • 查看集群日志
        • 支持云审计的关键操作
        • 查看审计日志
        • 常见问题
        • 计费类
        • 购买类
        • 产品咨询类
        • 操作类
        • 相关协议
        • 云搜索服务产品服务协议
        • 文档下载
        • 云搜索服务用户操作指南
        • 云搜索服务故障排除
          无相关产品

          本页目录

          帮助中心云搜索服务用户指南LogstashLogstash集群配置配置中心
          配置中心
          更新时间 2023-12-11 21:50:19
          • 新浪微博
          • 微信
            扫码分享
          • 复制链接
          最近更新时间: 2023-12-11 21:50:19
          分享文章
          • 新浪微博
          • 微信
            扫码分享
          • 复制链接
          本章节主要介绍Logstash集群配置中心的相关操作。

          Logstash类型的集群支持通过配置中心,修改logstash的配置文件,从不同的数据源(input)迁移数据到不同的目的端(output)。

          连通性测试

          在使用Logstash集群迁移数据时,可以先测试下数据源和Logstash集群的网络是否连通。用户也可以输入数据输出端(output)的IP地址或域名和端口号,测试该Logstash集群和数据输出端的网络是否连通。

          1.登录云搜索服务管理控制台。

          2.在“集群管理”页面,选择Logstash类型集群,单击需要配置数据导入导出文件的集群名称,进入集群基本信息页面,选择“配置中心”,或者直接单击目标集群操作列的“配置中心”,进入配置中心页面。

          3.在配置中心页面,选择“连通性测试”。

          4.输入数据来源的IP地址或域名和端口号,单击“测试”。

          连通性测试

          图5-6 连通性测试.png

          说明

          连通性测试最多可一次性测试10个IP地址或域名。您可以单击“继续添加”,添加多个IP地址或域名,然后单击“批量测试”,进行一次性测试多个IP地址或域名的连通性。

          创建配置文件

          1.登录云搜索服务管理控制台。

          2.在“集群管理”页面,选择Logstash类型集群,单击需要配置数据导入导出文件的集群名称,进入集群基本信息页面,选择“配置中心”页签,进入配置中心页面;或者直接单击目标集群操作列的“配置中心”,进入配置中心页面。

          3.单击右上角“创建”,进入创建配置文件页面。

          您可以选择系统模板或者自定义模板方式创建,也可以直接进行创建配置文件。

          −如果选择模板方式,可以直接单击对应的模板操作列的“应用”,然后在“名称”、“配置文件内容”和“隐藏内容列表”中进行命名和修改。

          目前支持的系统模板类型有:

          elasticsearch:从Elasticsearch类型集群导入数据到Elasticsearch类型集群。

          −如果直接创建配置文件,在“名称”和“配置文件内容”参数中直接输入对应内容即可。创建的配置文件内容大小不能超过100k。支持创建配置文件个数不超过50个。

          −隐藏内容列表:输入需要隐藏的敏感字串列表,按Enter创建;配置隐藏字符串列表后,在返回的配置内容中,会将所有在列表中的字串隐藏为***(列表最大支持20条,单个字串最大长度512字节)。

          4.配置完成后,单击“下一页”,配置参数。

          配置文件在迁移数据时管道中的配置。

          参数说明

          参数 说明
          pipeline.workers 并行执行管道的Filters+Outputs阶段的工作线程数,默认值为CPU核数,建议取值为1-20之间。
          pipeline.batch.size 单个工作线程在尝试执行其Filters和Outputs之前将从inputs收集的最大事件数,该值较大通常更有效,但会增加内存开销,默认为125。
          pipeline.batch.delay 创建管道事件批时,在将过小的批调度到管道工作线程之前,等待每个事件的时间(以毫秒为单位),默认值为50。
          queue.type 用于事件缓冲的内部队列模型。memory为基于内存的传统队列,persisted为基于磁盘的ACKed持久化队列,默认值为memory。
          queue.checkpoint.writes 如果使用持久化队列,则表示强制执行检查点之前写入的最大事件数,默认值为1024。
          queue.max_bytes 如果使用持久化队列,则表示持久化队列的总容量,确保磁盘的容量大于该值,默认值为1024。 单位:MB。

          5.配置完成后,单击“创建”。

          在配置中心页面可以看到创建的配置文件,状态为“可用”,表示创建成功。您还可以在操作列对创建的配置文件进行编辑、添加到自定义模板、删除等操作。

          −编辑:单击操作列的“编辑”,可以修改配置文件的内容及配置参数。

          −添加到自定义模板:可以将当前创建的配置文件,作为模板添加到自定义模板中,方便下次创建配置文件时使用。

          −删除:如果不需要此配置文件,可以通过操作列进行删除。

          说明

          您也可以单击“操作记录”或“运行日志”,查看配置文件的相关操作记录和运行日志信息。

          启动配置文件

          配置文件创建完成后,在配置中心页面可以看到创建成功的配置文件。

          1.选择需要启动的配置文件,单击左上角的“启动”。

          配置文件可以同时选择多个进行启动,一次不能超过50个。

          2.在“启动Logstash服务”对话框中,根据业务需要,选择“是否保持常驻”。

          开启“保持常驻”适用于需要长期运行的业务,开启“保持常驻”以后,将会在每个节点上面配置一个守护进程,当logstash服务出现故障的时候,会主动拉起并修复。“保持常驻”不适用于短期运行的业务,短期业务开启保持常驻,如果源端无数据,会导致任务失败。

          3.单击“确定”,开始启动配置文件。

          可以在管道列表看到启动的配置文件。

          说明

          您也可以单击“操作记录”或“运行日志”,查看配置文件的相关操作记录和运行日志信息。

          热启动配置文件

          Logstash服务已在运行时,可以选择热启动功能增加管道。

          说明

          l  使用logstash stdin插件的配置文件禁止使用热启动功能。

          l  使用热启动功能时,如果配置文件热启动失败且导致logstash进程异常退出,会进行恢复机制重新启动原logstash进程,请谨慎操作。

          l  只能选择一个配置文件进行热启动,且在管道列表中状态为“工作中”的配置数量小于20个。

          1.选择一个需要热启动的配置文件,单击左上角的“热启动”。

          对话框中“是否保持常驻”的值默认与管道列表中的“是否保持常驻”值保持一致。

          2.单击“确定”,开始热启动配置文件。

          可以在管道列表看到热启动的配置文件。

          热停止配置文件

          Logstash服务已在运行时,可以选择热停止功能移除某个管道。

          1.在管道列表选择一个需要热停止的配置,单击管道列表上方的“热停止”。

          2.根据对话框提示,单击“确定”。

          热停止成功则可以看到管道列表中目标配置已被移除且该管道数据迁移中断。

          停止全部配置文件

          如果需要停止管道列表中全部配置文件的数据迁移,单击管道列表上方的“全部停止”。

          根据对话框提示,单击“确定”,选择停止的所有管道会造成数据迁移中断。

          全部停止成功则可以看到全部管道停止数据迁移。

          文档反馈

          建议您登录后反馈,可在建议与反馈里查看问题处理进度

          鼠标选中文档,精准反馈问题

          选中存在疑惑的内容,即可快速反馈问题,我们会跟进处理

          知道了

          上一篇 :  Logstash集群配置
          下一篇 :  Logstash配置文件样例
          搜索 关闭
          ©2025 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
          公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
          备案 京公网安备11010802043424号 京ICP备 2021034386号
          ©2025天翼云科技有限公司版权所有
          京ICP备 2021034386号
          备案 京公网安备11010802043424号
          增值电信业务经营许可证A2.B1.B2-20090001
          用户协议 隐私政策 法律声明