参数 参数类型 说明 示例 下级对象 topic String 消息主题名 topicTest tags String 标签 keys String 消息索引值 groupName String 生产者名 msgType String 消息类型 msgId String 消息id costTime String 耗时 status String 发送状态 SENDSUCCESS pubTime String 发送时间戳 arrivedServerTime String 消息到达服务端时间戳 clientHost String 客户端主机地址 subTraceList Array of Objects 消息堆积列表 subTrace 表 subTrace

本节介绍Kafka 发送给Topic的消息在分区中分布不均衡原因 问题现象 发送消息到某个Topic后，该Topic下部分分区消息比较多，部分分区消息少，甚至没有。 可能原因 发送消息时指定了分区，导致未指定的分区没有消息。 发送消息时指定了消息Key，按照对应的Key发送消息至对应的分区，导致分区消息不均衡。 通过代码重新实现了分区分配策略，但策略逻辑有问题，导致分区消息不均衡。

参数名称 描述 数据格式 导出查询结果数据的文件格式。支持json和csv格式。 队列 选择运行的队列。SQL作业只能在队列类型为“SQL队列”下执行。具体队列创建可以参考6.3 创建队列。 压缩格式 导出查询结果数据的压缩方式，选择如下压缩方式。 l none l bzip2 l deflate l gzip 存储路径 输入或选择OBS的路径。 说明 l 选择OBS桶后，请在文本框中定义文件夹名称，若该文件夹不存在，则会在OBS中创建。 l 文件夹名称不能包含下列特殊字符： / : ? " < > ，并且不能以“.”开头和结尾。 导出方式 导出查询结果数据的保存方式。 l 随导出创建指定路径：指定的导出目录必须不存在，如果指定目录已经存在，系统将返回错误信息，无法执行导出操作。 l 覆盖指定路径：在指定目录下新建文件，会删除已有文件。 结果条数 导出查询结果数据的数量。不填写数值或数值为“0”时，导出全部结果。 表头 设置导出查询结果数据是否含表头。

本文主要介绍了消息管理页面的功能和使用。 当前支持的消息接收方式包括：邮箱、短信。用户可以开启或关闭消息接收。 操作步骤 1、登录消息中心。 2、点击消息中心左侧导航，选择“消息管理“ 3、配置消息接收方式。 勾选邮箱、短信，可以选择该类消息的接收方式。 点击修改，可以选择该类消息的接收人。 勾选多个消息类型，可进行批量添加或删除消息接收人。

本文主要介绍云搜索服务的应用场景。 日志检索分析 云搜索服务可以采集分析各类以文件形式存储的日志，包括不限于服务器、容器日志等。结合消息队列Kafka、Logstash对日志数据进行采集清洗，进入Elasticsearch或OpenSearch中存储检索分析，并通过Kibana或Dashboards进行可视化呈现。 高稳定：通过读写限流、查询熔断、集群监控等方式保障。 性能优化：通过支持压缩算法、内核增强节省存储空间，增强读写速率、降低响应延迟。 易用性：支持多种统计分析方法、划分维度，丰富的可视化查询，可对接BI实现拖拽式报表。 站内搜索 面对海量数据，提供分布式的信息检索工具，可根据网站内容进行关键字检索，也可搭建商品检索或推荐系统。 实时检索：支持模糊搜索，数据来源多样且持续写入，站内资料或商品信息更新数秒内即可被检索。 分类统计：检索同时可以将符合条件的结果进行排序或分类统计。 多场景适配：可用于网站、移动端应用搜索、企业内部应用等多种需要快速检索的场景。 数据分析 提供开箱即用的可视化、高聚合分析能力，便捷高效地对海量数据实时分析。更好地适配实时多维分析在线查询服务场景，满足高实时性，高查询QPS，低查询延迟的数据分析要求。 快速响应：支持海量的、数据源多样、字段不固定的数据高并发处理，毫秒级响应。 复杂查询：支持大批量模糊关键字搜索及一些聚合的复杂查询。 向量检索：基于向量特征相似度匹配，支持图文搜索、地理位置搜索。

消息生产与消费的幂等传递 在Kafka中，消息的生产和消费都可以实现幂等传递。下面是一些常用的方法来实现幂等传递： 生产者端的幂等传递 使用消息的唯一标识符：在发送消息之前，生产者可以为每条消息分配一个唯一的标识符，例如UUID。这样，在消息重复发送时，可以根据标识符来判断消息是否已经被成功发送过，避免重复发送。 重试机制：当生产者发送消息失败时，可以使用重试机制来确保消息的可靠发送。Kafka提供了重试机制，可以配置生产者在发送失败后进行重试，而不会导致消息的重复发送。 消费者端的幂等传递 消费者端的幂等操作：消费者可以将消息的处理操作设计为幂等操作。即使同一条消息被多次处理，最终的结果也应该是一致的。这可以通过在消息处理过程中使用幂等性的算法或逻辑来实现。 消费者位移提交：Kafka允许消费者手动提交消费的位移（offset），消费者可以在处理完一条消息后手动提交位移。这样可以确保消息被成功处理后再提交位移，避免重复消费。 需要注意的是，虽然Kafka提供了一些机制来支持幂等传递，但在实际应用中，仍然需要开发者自行实现幂等性的逻辑来保证消息的正确处理。 消息可以批量生产和消费 Kafka支持消息的批量生产和消费，这可以提高消息的吞吐量和效率。下面是一些关于Kafka批量生产和消费的说明： 批量生产 生产者可以将多条消息打包成一个批次进行发送，减少网络传输的开销。Kafka提供了ProducerRecord类的构造函数，可以传入一个消息集合来进行批量发送。 生产者可以通过配置batch.size参数来设置批次的大小。当消息达到指定的批次大小后，生产者会自动将消息发送到Kafka集群。

配置项 说明 伸缩名称 长度为115个字符，仅支持数字、英文字母或下划线，必须以英文字母为首。 应用队列 默认展示选择的应用队列。 伸缩组最大节点数（台） 配置伸缩组内的最大节点数，当伸缩组内节点数大于最大节点数时，自动伸缩服务会自动移出节点，使得队列的当前实例数等于最大节点数。 伸缩组最小节点数（台） 配置伸缩组内的最小节点数，当伸缩组内节点数小于最小节点数时，自动伸缩服务会自动添加节点，使得队列的当前实例数等于最小节点数。 自动扩容 是否开启自动扩容。 自动缩容 是否开启自动缩容。 缩容时间（分钟） 计算节点的连续空闲时间超过缩容时间时，该节点会被释放。 伸缩策略 全量策略：根据单次最大伸缩节点数和伸缩组满足节点数，全量伸缩所需的节点数，不考虑队列中已有的空闲节点数。 增量策略：根据单次最大伸缩节点数、伸缩组满足节点数以及队列已有空闲节点数。增量伸缩所需的节点数。 计算节点规格 选择自动扩容节点的规格。 镜像 选择自动扩容节点的镜像。 注：该镜像为弹性高性能计算平台定制镜像，请优先保持集群同一镜像。 计算节点硬盘 选择自动扩容节点规格所对应的硬盘。 子网 选择子网，建议同一个队列保持子网一致。

本节介绍如何创建vLLM GPU 单机推理任务。 前置条件 1. 确认智算套件已经安装并且全部运行中 2. 进入智算套件，AI应用管理，队列管理，确保队列存在并且有足够的资源(GPU,CPU,内存) [参考创建队列的文档] 操作步骤 创建任务 进入智算套件，AI应用列表，在线推理菜单，创建AI应用 基本信息 应用类型：vLLM 推理类型选择 单机 推理框架，框架版本，推理模型，模型版本根据实际情况选择。 配置信息 简单的示例： 推理框架： nvidiavllm 框架版本：v0.11.2 推理模型：deepseekr1distillqwen1.5b 模型版本：v1 资源：CPU，内存，共享内存可以不填 选择 GPU：2 队列：选择存在且资源足够的的队列 点击确认完成创建。

本节介绍如何创建vLLM GPU 单机推理任务。 前置条件 1. 确认智算套件已经安装并且全部运行中 2. 进入智算套件，AI应用管理，队列管理，确保队列存在并且有足够的资源(GPU,CPU,内存) [参考创建队列的文档] 操作步骤 1. 进入智算套件，AI应用列表，在线推理菜单，创建AI应用 2. 创建应用 应用类型：vLLM 推理类型选择 单机 推理框架，框架版本，推理模型，模型版本根据实际情况选择。 简单的示例： 推理框架： nvidiavllm 框架版本：v0.11.2 推理模型：deepseekr1distillqwen1.5b 模型版本：v1 资源：CPU，内存，共享内存可以不填 选择 GPU：2 队列：选择存在且资源足够的的队列 点击确认完成创建。

本文主要介绍了消息接收人设置的操作流程。 消息接收人默认为账号联系人，不可编辑、删除。在账号联系人之外，用户可以添加或删除消息接收人，也可对消息接收人信息进行修改。 操作步骤 1、登录消息中心。 2、点击消息中心左侧导航，选择“消息接收人设置”。 3、消息接收人设置 新增消息接收人 （1）点击“新增消息接收人”，根据页面提示填写接收人姓名、手机号、邮箱并提交。 （2）点击邮箱及手机号右侧提示完成验证。 说明 需要邮箱及手机号均完成验证，新增的消息接收人才能在“消息管理”中完成添加。 修改消息接收人信息 （1）选择需要修改的消息接收人，点击“编辑”，然后根据需求，可修改接收人姓名、手机号、邮箱，然后提交。 （2）点击邮箱及手机号右侧提示完成验证。 说明 只修改姓名无需重新验证，若替换了新的邮箱/手机，则需要验证才能接收消息。 删除消息接收人 选择需要删除的消息接收人，点击“删除”，再次确认即可完成删除。

方案概述 Kafka将Topic划分为多个分区，消息被存储在不同的分区中。在同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积，从而会造成消息消费延迟。 导致消息堆积的常见原因如下： 生产者短时间内生产大量消息到Topic，消费者无法及时消费。 消费者的消费能力不足（消费者并发低、消息处理时间长），导致消费效率低于生产效率。 消费者异常（如消费者故障、消费者网络异常等）导致无法消费消息。 Topic分区设置不合理（leader副本都集中在部分Broker中、分区数太少），或新增分区无消费者消费。 Topic频繁重平衡导致性能下降，消费效率降低。 实施步骤 从消息堆积的原因看，消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 消费者端 根据实际业务需求，合理增加消费者个数（消费并发度），建议消费者数量和分区数保持一致。 提高消费者的消费速度，通过优化消费者处理逻辑（减少复杂计算、第三方接口调用和读库操作），减少消费时间。 增加消费者每次拉取消息的数量：拉取数据/处理时间 > 生产速度。 生产者端 生产消息时，给消息Key加随机后缀，使消息均衡分布到不同分区上。（在实际业务场景中，为消息Key加随机后缀，会导致消息全局不保序，需根据实际业务判断是否适合给消息Key加随机后缀。） 服务端 合理设置Topic的分区数，在不影响业务处理效率的情况下，调大Topic的分区数量。 当服务端出现消息堆积时，对生产者进行熔断，或将生产者的消息转发到其他Topic。

本文为您介绍分布式消息服务MQTT的概念。 分布式消息服务MQTT是面向移动互联网以及物联网领域的轻量级消息中间件，扩展支持MQTT、MQTTSN、CoAP、LwM2M或私有TCP协议等主流通信协议。可以在有限的资源条件下，为连接远程设备提供实时可靠的消息服务并支持数据高效分类存储、再处理，实现终端设备与云端应用互通。 产品示意图 分布式消息服务MQTT的通信是通过基于主题（Topic）的发布/订阅方式来实现的，Broker用来进行消息的存储和转发，发布方和订阅方通过中间方Broker而无直接连接来进行解耦。一次典型的 MQTT 消息通信流程如下所示： 1. 发布方（Publisher）连接到Broker； 2. 订阅方（Subscriber）连接到Broker，并订阅主题Topic1； 3. 发布方（Publisher）发送给Broker一条消息，主题为Topic1； 4. Broker收到了发布方的消息，发现订阅方（Subscriber）订阅了Topic1，然后将消息转发给订阅方（Subscriber）； 5. 订阅方从Broker接收该消息。 MQTT通过订阅与发布模型对消息的发布方和订阅方进行解耦后，发布方在发布消息时并不需要订阅方也连接到Broker，只要订阅方之前订阅过相应主题，那么它在连接到Broker之后就可以收到发布方在它离线期间发布的消息。我们可以称这种消息为离线消息。 核心概念 MQTT是一种轻量级的通信协议，广泛用于物联网（IoT）等领域，具有高效、可靠、低开销的特点。以下是MQTT核心概念总结： Broker（服务器） ： MQTT协议中的服务端，负责管理连接、接收和转发消息，处理订阅和取消订阅请求。它充当中间人，将消息从发布者传递给订阅者。 Client（客户端）： 使用MQTT协议的程序或设备，可以是传感器、嵌入式设备、服务器等。客户端与Broker建立连接，发送和接收数据，订阅或取消订阅主题。 Message（消息）： MQTT协议中传输的数据单元，通常包含消息内容以及与之相关的主题名称和服务质量等信息。 Topic（主题）： 主题用于标识消息的分类或关联。在发布消息时，消息与主题相关联，告诉Broker消息应该发送到哪个主题。在订阅消息时，客户端指定感兴趣的主题，Broker会将匹配的消息发送给订阅者。 Publish（发布）： 客户端向Broker发送消息的过程。发布消息时需要指定主题和服务质量（QoS），Broker将消息转发给订阅了相同主题的其他客户端。 Subscribe（订阅）： 客户端订阅特定主题的过程。客户端告诉Broker它对哪个主题感兴趣，一旦有消息发送到该主题，Broker会将消息传递给订阅者。取消订阅过程称为Unsubscribe。 QoS（服务质量）： 用于控制消息可靠性传递的参数。 MQTT协议的灵活性和可定制性使其成为许多IoT应用的理想选择，能够适应不同的通信需求和资源限制。

检查队列资源是否不足 5.在原生页面找到该任务，查看该任务的“Queue”中的队列名。单击原生页面左侧“Scheduler”,在“Applications Queues”页框中查找对应的队列名，并下拉展开队列的详细信息，如图所示： 6.查看队列详情中“Used Resources”是否近似等于“Max Resources”，即任务提交的队列中资源已经使用完毕，若队列资源不足，请在FusionInsight Manager的“租户资源 > 动态资源计划 > 资源分布策略”中调大队列的“最大资源”。重新运行任务后，查看是否不再上报告警。 是，处理完毕。 否，执行步骤7。 检查任务是否发生数据倾斜 7.在Yarn的原生页面，选择“任务 ID （如application15653379197230002） > Tracking URL:ApplicationMaster > job15653379197230002”，进入如下页面： 8.选择左侧“Job > Map tasks”或者“Job > Reduce tasks”，查看每个Map或者每个Reduce任务的执行时间是否相差很大，如果相差很大，说明任务数据发生了倾斜，需要对任务数据进行均衡。 9.按照如上原因进行处理后，重新执行任务，观察本告警是否还出现。 是，执行步骤10。 否，处理完毕。 收集故障信息 10.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 11.在“服务”中勾选待操作集群的“Yarn”。 12.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 13.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本节介绍如何创建vLLM NPU单机推理任务。 前置条件 1. 确认智算套件已经安装并且全部运行中。 2. 进入智算套件，AI应用管理，队列管理，确保队列存在并且有足够的资源(NPU,CPU,内存) [参考创建队列的文档]。 操作步骤 创建任务 进入智算套件，AI应用列表，在线推理菜单，创建AI应用。 基本信息 应用类型：vLLM 推理类型选择：单机 配置信息 推理框架，框架版本，推理模型，模型版本根据实际情况选择。简单的示例： 推理框架： ascendvllm 框架版本：v0.13.0rc1 推理模型：deepseekr1distillqwen1.5b 模型版本：v1 资源：CPU，内存，共享内存可以不填 选择 NPU：2 队列：选择存在且资源足够的的队列 Master 点击确认完成创建。

本文介绍Kafka消费端从服务端拉取不到消息或拉取消息缓慢原因及解决方案 问题现象 Topic中有消息并且Consumer未消费到最新的位置，出现消费端从服务端拉取不到消息或拉取消息缓慢的情况（特别是公网消费时）。 可能原因 消费流量达到网络带宽。 单个消息大小超过网络带宽。 Consumer每次拉取的消息量超过网络带宽。 说明 Consumer每次消息的拉取量受以下参数影响： max.poll.records：每次拉取的最多消息数。 fetch.max.bytes：每次拉取的最大总byte数。 max.partition.fetch.bytes：每个Partition每次拉取的最大总byte数。 解决方案 （1）登录分布式消息服务Kafka控制台查询消息。 如果能查询到消息，请继续尝试以下步骤。 （2）在实例详情页面，单击左侧导航栏的监控信息，查看消费流量是否已达到网络带宽。 如果消费流量已经达到网络带宽，您需要扩充网络带宽。 （3）检查Topic中是否存在单个消息的大小超过网络带宽。 如果存在单个消息的大小超过网络带宽，请提高网络带宽，或者减小单个消息的大小。 （4）检查Consumer每次拉取的消息量是否超过网络带宽。 说明 如果每次拉取的消息量超过网络带宽，您需要调整以下参数。 网络带宽>fetch.max.bytes 网络带宽>max.partition.fetch.bytes总订阅Partition数

步骤二：测试验证 1. 登录分布式消息服务Kafka管理控制台。 2. 在左侧导航栏，单击实例列表，选择事件流的源实例。 3. 在主题管理页面，选择源的目标主题，操作列点击更多 ，然后点击生产消息。 4. 在生产消息对话框输入想要发送的消息，然后点击发送消息。 5. 发送消息后返回实例列表，选择事件流的目标实例，进入管理。 6. 在消息查询页面，选择目标实例的目标主题，然后按时间查询，查询最近收到的消息。 7. 查看查询到的Key和Value值是否与生产的消息一致，详见图2。 图2 在分布式消息服务Kafka管理控制台查看消息详情

本节介绍Kafka 判断和处理消息堆积 判断消息堆积是否属于正常情况 登录“分布式消息服务Kafka”控制台，在“消费组管理”页面，找到目标消费组，进入“消息堆积”页面。 （1）堆积量保持在一个稳定的数值之间波动，没有持续扩大。说明客户端一直在拉取最新消息，没有消息堆积，属于正常情况。 （2）堆积量逐步扩大，并且当前位点一直不变。客户端的消费线程因为某些原因卡住，没有继续消费，也没有继续向服务端提交位点，属于异常情况，即消息的确堆积了。 （3）堆积量逐步扩大，同时当前位点在前进。说明客户端还在消费中，但是消息的消费速度慢于消息的发送速度。消息堆积大多是消费速度过慢或者消费线程阻塞造成的，建议不要在消费逻辑中有太多耗时的操作。 消息堆积的处理方式 经过上述判断，确认消息的确存在堆积情况时，建议打印消息的消费耗时，或者根据堆栈信息查看线程执行情况，适当调整以加快消息的消费速度，避免出现消息堆积。

步骤3：在云服务器上为Moltbot服务配置飞书插件 Moltbot 默认不内置飞书 Channel，需要额外安装插件。这里使用开源插件：++ %E4%B8%AD%E6%96%87++。安装流程如下： 1. 在云服务器内运行插件安装命令： plaintext clawdbot plugins install @m1hengclawd/feishu 2. 安装完成后，将飞书机器人的配置参数写入Moltbot的配置文件。 plaintext clawdbot config set channels.feishu.appId "[飞书的APP ID]" clawdbot config set channels.feishu.appSecret "[飞书的APP Secret]" clawdbot config set channels.feishu.enabled true 以上参数所在位置： 3. 配置完成后，重新启动Moltbot的Gateway服务。 plaintext clawdbot gateway restart 注意 若云主机使用的是【Moltbotv2026.1.243CtyunOS25.07】镜像，则重启Gateway服务时，需替换为以下命令执行： plaintext nohup clawdbot gateway & 4. 添加事件订阅 注意 事件订阅必须在Moltbot添加飞书配置并启动后，才可以创建，否则无法创建成功。 选择订阅方式为长连接 添加事件，具体添加项见下表： 事件 说明 im.message.receivev1 接收消息（必需） im.message.messagereadv1 消息已读回执 im.chat.member.bot.addedv1 机器人进群 im.chat.member.bot.deletedv1 机器人被移出群 配置完成后，进行发版 5. 飞书机器人已创建成功，现在可以在飞书中和机器人对话，校验Moltbot功能是否正常。

本节介绍如何配置Kafka数据转储至OBS。 本章节介绍如何创建转储的Smart Connect任务，通过Smart Connect任务可以将Kafka实例中的数据转储至OBS中，实现消息数据的备份。 源Kafka实例中的数据会实时同步到转储文件中。 约束与限制 一个实例最多创建18个Smart Connect任务。 Smart Connect任务创建成功后，不支持修改任务参数。 前提条件 已开启Smart Connect。 已创建Kafka实例，且实例状态为“运行中”。 已创建的OBS桶和Kafka实例需要在同一个区域。 配置Kafka数据转储至OBS 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、单击Kafka实例名称，进入实例详情页面。 5、在左侧导航栏单击“Smart Connect”，进入Smart Connect任务列表页面。 6、单击“创建Smart Connect任务”，进入“创建smart connect”页面。 7、在“connect任务名称”中，输入Smart Connect任务的名称，用于区分不同的Smart Connect任务。任务名称需要符合命名规则：长度为4~64个字符，只能由英文字母、数字、中划线、下划线组成。 8、在“预置类型”中，选择“转储”。 9、在“源端配置”中，保持默认设置。 10、在“Topic配置”中，设置以下参数。 表11 Topic配置参数说明 参数 参数说明 正则表达式 表示以正则表达式的方式订阅Topic，并进行转储。 输入/选择 输入/选择待转储的Topic名称，支持选择多个Topic，以逗号“,”分隔。最多输入/选择20个Topic。 11、在“目标端配置”中，设置以下参数。 表12 目标端参数说明 参数 参数说明 转储启动偏移量 支持以下两种转储启动偏移量： 最早：最小偏移量，即读取最早的数据。 最新：最大偏移量，即获取最新的数据。 数据转储周期 两次转储的时间间隔，单位：秒，默认配置为300秒。 若某个时间段内无数据，则此时间段不会生成打包文件 AK 访问密钥ID。 SK 与访问密钥ID结合使用的密钥。 转储地址 设置存储Topic数据的OBS桶的名称。 选择：在下拉列表中选择已创建的OBS桶名称，或者单击“创建转储地址”，新创建一个OBS桶。 输入：输入已创建的OBS桶名称，或者单击“创建转储地址”，新创建一个OBS桶。输入的OBS桶必须和Kafka实例在同一个区域。 转储目录 OBS中存储Topic的目录，多级目录可以用“/”进行分隔。 时间目录格式 数据将存储在转储目录下的时间目录中，时间目录是按时间格式作为层级的目录。例如，当选择的时间目录格式精确到日时，存储目录为：“桶名称/转储目录/年/月/日”。 记录分隔符 在下拉列表中选择一种分隔符，分隔不同的转储记录 存储Key 是否转储Key，开启表示转储Key，关闭表示不转储Key。 说明 消息进行转储时，不支持以Key作为文件名。 12、单击“立即创建”，跳转到Smart Connect任务列表页面，页面右上角显示“创建xxx任务成功”。 结束

Hudi Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎，提供IUD接口，在 HDFS的数据集上提供了插入更新和增量拉取的流原语。 Iceberg Iceberg 是一个用户分析的高性能表格式， Iceberg 表格的数据可以存储在 HDFS/S3 等不同存储上，Iceberg 使得能够在大数据系统中更好的使用 SQL 做数据分析，同时可以让多引擎查询同时支持 Iceberg 表格，Iceberg 支持引擎批量/增量的消费，能够降低端到端的耗时。 Knox Apache Knox Gateway 是一个应用程序网关，用于与Apache Hadoop 部署的 REST API 和 UI 进行交互。Knox 网关为与 Apache Hadoop集群的所有 REST 和 HTTP 交互提供了一个单一的访问点。 Logstash Logstash 是一个流行的开源数据收集引擎，用于从各种来源收集、处理和转发数据。它可以从多种来源（如业务日志文件、消息队列、数据库等）收集数据，对数据进行解析、过滤和转换，最终将处理后的数据输出到目标位置（Opensearch、Elasticsearch、Hadoop、S3 等）。 JeekeFS JeekeFS 是一个高性能分布式文件系统，用于存储和管理文件与数据。它采用数据与元数据分离的存储架构，数据本身被持久化在对象存储中，元数据则可以按需存储在多种数据库中。 Tez Tez组件是Apache Hadoop生态系统中的一个计算框架，它利用DAG（有向无环图）来优化作业执行。通过提供可编程的输入、输出、处理器、任务等组件，Tez能够高效地执行复杂的数据处理任务，提升Hadoop作业的性能和灵活性。

本节介绍如何创建vLLM NPU单机推理任务。 前置条件 1. 确认智算套件已经安装并且全部运行中 2. 进入智算套件，AI应用管理，队列管理，确保队列存在并且有足够的资源(NPU,CPU,内存) [参考创建队列的文档] 操作步骤 创建任务 进入智算套件，AI应用列表，在线推理菜单，创建AI应用 基本信息 应用类型：vLLM 推理类型选择：单机 配置信息 推理框架，框架版本，推理模型，模型版本根据实际情况选择。 简单的示例： 推理框架： ascendvllm 框架版本：v0.13.0rc1 推理模型：deepseekr1distillqwen1.5b 模型版本：v1 资源：CPU，内存，共享内存可以不填 选择 NPU：2 队列：选择存在且资源足够的的队列 点击确认完成创建。

本章节主要介绍删除资源池。 操作场景 该任务指导用户通过MRS Manager，删除已有资源池。 前提条件 集群中任何一个队列不能使用待删除资源池为默认资源池，删除资源池前需要先取消默认资源池，请参见配置队列。 集群中任何一个队列不能在待删除资源池中配置过资源分布策略，删除资源池前需要先清除策略，请参见清除队列配置。 操作步骤 在MRS Manager，单击“租户管理”。 1. 单击“资源池”页签。 2. 在资源池列表指定资源池所在行的“操作”列，单击“删除”。 在弹出窗口中单击“确定”。

运行结果 上面的示例代码中，消费者线程会循环调用 poll()方法来拉取消息，并对拉取到的消息进行处理。在处理消息时，示例代码只是简单地打印了消息的值。 因此，示例代码的响应结果将是每个消费者线程在拉取到消息时打印出消息的值。具体的响应结果将取决于你所消费的Kafka主题中的消息内容。 例如，假设你的Kafka主题中有以下两条消息： 1. Key: null, Value: "Hello, Kafka!" 2. Key: null, Value: "How are you?" 当消费者线程拉取到这两条消息时，它们将会打印如下的响应结果： Received message: Hello, Kafka! Received message: How are you? 请注意，示例代码中的打印语句只是简单地将消息值输出到控制台。在实际应用中，你可以根据需要对消息进行进一步的处理，比如将消息存储到数据库、执行业务逻辑等操作。

本文介绍消息管理功能的使用方式。 使用说明 1. 登录ECX控制台。 2. 在左侧栏找到【服务管理>消息管理】并点击进入。 3. 消息管理版块可以配置接收消息的邮箱、安全验证方式、消息接收组。 邮箱 点击【邮箱】，可以查看注册邮箱、默认的消息通知都将发送到注册邮箱中，如果您的天翼云账号不是以邮箱注册的，可以在【天翼云官网>我的>账号中心>基本信息、安全设置】版块，绑定一个邮箱。 安全验证 点击【安全验证】，可以设置敏感操作保护，开启后，进行敏感操作时，将需要进行安全验证。 消息接收组 点击【消息接收组】，可以查看、创建、管理消息接收组，一个消息接收组中支持配置企业微信机器人地址、钉钉订阅地址、多个邮箱及手机号，用于接收告警消息。所有接收组中的手机号，共享短信通知配额。

向主题添加订阅 要接收发布至主题的消息，您必须添加一个订阅终端节点到该主题。消息通知服务会发送一条订阅确认的消息到订阅终端，订阅确认的消息将在48小时内有效。如果订阅者在48小时之内确认订阅，将会收到推送至主题的消息。如果订阅者在48小时之内没有确认订阅，则需要再次给订阅者发送订阅确认的消息。 1.登录管理控制台。 2.选择“管理与监管 > 消息通知服务”。 进入消息通知服务页面。 3.在左侧导航栏，选择“主题管理 > 主题”。 进入主题页面。 4.在主题列表中，选择您要向其添加订阅者的主题，在右侧“操作”栏单击“添加订阅”。 此时将显示“添加订阅”对话框。 其中：协议参数选项为“短信”、“邮件”、FunctionGraph（函数）HTTP、HTTPS。 订阅终端参数为订阅的终端地址，短信、邮件终端支持批量输入，批量添加时，每个终端地址占一行。最多可输入10个终端。 5.单击“确定”。 新增订阅将显示在页面下方的订阅列表中。 向订阅者发送消息 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 3.单击“告警管理”。 4.选择“消息订阅规则 > 添加消息订阅规则”，进入添加消息订阅页面。 5.配置消息订阅规则相关参数。 消息订阅规则参数说明 参数 说明 规则名称 用户自定义发送订阅消息的规则名称，只能包含数字、英文字符、中划线和下划线。 提醒通知 选择开启时，将按照该订阅规则为订阅者发送对应订阅消息。 选择关闭时，该规则不会生效，即不会向订阅者发送订阅消息。 主题名称 选择已创建的主题，也可以单击“创建主题”重新创建。 消息类型 选择需要订阅的消息类型。 告警 事件 订阅规则 选择需要订阅的消息规则，可根据需要勾选全部或部分规则。 、 MRS 3.x及之后版本订阅规则： 告警：紧急，重要，次要 事件：重要，次要，提示 MRS 3.x之前版本订阅规则： 致命 严重 一般 提示 6.单击“确定”完成消息提醒配置。

分布式消息服务Kafka提供全托管、免运维的云实例间迁移服务，用于同云实例与分布式消息服务Kafka实例之间的数据同步。本文介绍云实例间迁移的源实例类型、使用限制以及使用流程。 背景信息 云实例间迁移可以把天翼云分布式消息服务Kafka集群的元数据（Topic、Group和SASL User信息）、消息数据和点位信息同步到目标集群，迁移完成后目标集群的元数据与原集群的元数据保持一致，并且支持持续更新和完成后自动停止任务。 使用限制 1.此功能不收费，会占用当前实例的服务器资源，请结合业务流量和服务器资源占用情况，在合理的情况下进行迁移 2.单机版不支持迁移 计费说明 分布式消息服务Kafka的云实例间迁移组件处于公测阶段，不会在分布式消息服务Kafka侧产生费用。同时，天翼云不承诺迁移的SLA。 创建迁移任务 1.登录分布式消息服务Kafka控制台。 2.在左侧导航栏，单击集群迁移 ，然后单击云实例间迁移。 3.在云实例间迁移页签，单击创建任务。 4.在创建 云实例间迁移任务面板，填写任务名称，选择目标实例，然后单击下一步。 5.填写接入点，选择源实例，任务数等，具体请看参数说明。 参数说明： 参数 说明 示例 源实例 下拉框选择源实例 192.168.XX.XX:9092 任务数 选择同步数据的任务数。取值说明如下：1、6、12 1 迁移完成后自动停止任务 迁移任务会自动检测是否完成迁移 是：在检测到消息数据完成同步后停止任务 否：不停止任务，您可以手动停止任务 否 Topic 要迁移的topic信息，选填，多个用半角逗号分开，不填则迁移所有topic topic1,topic2 Groups 要迁移的group信息，选填，多个用半角逗号分开，不填则迁移所有group group1,group2 副本数是否和源集群保持一致 迁移到目标集群的topic的副本数是否和源集群保持一致，默认否 是：副本数是否和源集群保持一致，如原集群topic副本数为1，迁移后的topic副本数也为1 否：迁移后topic的副本数为3 否 6.填写完参数后，单击创建 ，完成任务的创建，在任务列表能看到一条任务，状态为等待迁移，后台调度到此任务时，会将任务状态改为迁移中。 7.其他操作 查看任务详情：单击详情。在任务详情页面，查看云实例间迁移任务的基础信息、源服务、目标服务和运行环境配置信息。 查看同步进度：单击同步进度，选择查看的Topic，可以看到对应Topic的分区id，最早点位，最新点位和当前点位信息。 启停任务：单击停止，然后在提示对话框，单击确认可停止任务。

本节主要介绍如何在智能视图服务控制台设置推送策略。 点击左侧导航栏的【消息推送推送策略】进入该页面，支持用户自定义配置设备消息、AI消息、平台事件消息进行短信推送。 说明 1. 目前推送方式仅支持短信推送。 2. 请确保创建用户时设置的手机号有效并完成验证。 3. 若需推送AI事件消息，请确保设备已绑定并启用AI应用。 点击【新建推送策略】，相关参数具体说明如下： 参数名 解释说明 策略名 推送策略的名字，也是管理相关策略的索引。 描述 对当前策略进行备注。 推送方式 邮件推送、短信推送。目前仅支持短信推送。 推送时段 全天、时间段，客户根据自身的业务需要，选择特定时间段接收消息。 推送频率 系统预置半小时、1小时、2小时、4小时、8小时、24小时。 消息类型 设备消息、平台事件消息、AI消息。 子类型 设备消息：设备离线、流离线、录制失败。 平台事件消息：设备离线。 AI消息：展示AI应用的列表信息。 消息内容 邮件、短信接收到的文案信息。 生效资源 支持用户选择目录及独立设备。 推送对象 支持用户选择用户组或具体子用户。

本文为您介绍设置消息回执接收方式的操作流程。 注意事项 使用短信的API接口发送短信后，可以通过HTTP批量推送模式来接收短信的回执消息和上行短信等内容。 如果出现网络问题等异常情况，导致消息回执未成功获取，还可以通过短信发送记录查询API接口进行一定的补偿。目前支持30天内发送记录的查询，可查询一天的发送数据。 消息类型 短信提供3种消息类型：SmsReport（短信下行回执报告消息）、SmsMo（上行短信消息）、eventReport（事件回调消息）。 上行短信指用户发送给通信服务供应商的短信，用于定制某种服务、完成某种查询、或是办理某种业务等。与上行短信相对应的是下行短信。下行短信是指用户收到的短信，例如运营商发送的消息通知、业务提醒等短信。签名和模板审核状态消息是指用户提交的相关信息的审核状态的报告，说明如下。 通过订阅SmsReport可以获知每条短信的发送情况，了解短信是否到达终端用户的状态与相关信息。 通过订阅SmsMo可以获知终端用户回复短信的内容。 通过订阅eventReport接口获取签名，模板的审核状态消息。 更多信息，请参见回调消息简介与配置流程。 事件回调配置 如果需要接收回执消息，必须先在控制台上开启消息接收。 1. 登录云通信控制台。 2. 在左侧导航栏，单击消息配置。 3. 在事件回调配置 区域，单击设置。 4. 云通信消息接收目前支持HTTP批量推送模式 ，该模式通过HTTP POST方式发送消息到指定的Web URL。 说明: HTTP批量推送模式支持全部消息类型。 [](

介绍分布式消息服务Kafka消费组详情功能操作内容。 场景描述 当需要查询以下信息时，可通过消费组详情页面操作： 查看在线消费者列表及其订阅的主题、分区。 查看消费组订阅的主题的消息堆积详细情况。 Kafka消息堆积的场景包括以下几个： 消费者处理延迟：当消费者的处理能力不足或出现故障时，无法及时消费Kafka中的消息，导致消息堆积。这可能是由于消费者的处理逻辑复杂、处理速度慢，或者消费者的资源不足等原因引起的。 网络故障：当Kafka集群与消费者之间的网络出现故障或不稳定时，可能导致消息传输延迟或中断。这会导致消息在Kafka中堆积，等待网络恢复后才能被消费。 生产者速度超过消费者：当生产者产生消息的速度超过消费者的处理速度时，会导致消息在Kafka中堆积。这可能是由于生产者的速度过快、消费者处理能力不足或者消费者故障等原因引起的。 消费者组调整：当消费者组中的消费者发生变化，如新增或退出消费者，会触发Kafka的重平衡操作。在重平衡期间，消费者无法消费消息，导致消息堆积。这通常发生在消费者扩展或故障恢复时。 高峰期消息涌入：在某些特定的时间段或事件发生时，可能会引发大量的消息涌入Kafka，超过消费者的处理能力。这会导致消息在Kafka中堆积，直到消费者能够跟上消息的处理速度。

介绍分布式消息服务Kafka计费模式互转的功能操作内容。 场景描述 Kafka的按需转包周期的场景描述如下： 在使用Kafka时，可能会遇到需要设置按需转包周期的场景，例如： 消息积压处理：当Kafka中的消息积压较多时，可能会导致消息的消费速度跟不K上消息的生产速度，进而影响系统的性能和稳定性。为了解决这个问题，可以设置按需转包周期，即将一定数量的消息打包成一个批次进行消费，以提高消费的效率和吞吐量。 业务流量波动：在某些业务场景下，业务流量可能会出现波动，即某个时间段内的消息产生速度较快，而另一个时间段内的消息产生速度较慢。为了更好地适应业务流量的波动，可以设置按需转包周期，以根据实际的消息产生情况进行灵活的批量消费。 系统资源优化：当Kafka的消费者资源有限时，可以通过设置按需转包周期来优化系统的资源利用。通过将一定数量的消息打包成一个批次进行消费，可以减少消费者的竞争和上下文切换，提高系统的并发处理能力。 消息处理延迟优化：在某些场景下，对消息的实时性要求较低，可以通过设置按需转包周期来优化消息的处理延迟。将一定数量的消息打包成一个批次进行消费，可以减少消息的处理次数，从而降低消息的处理延迟。 需要注意的是，在设置按需转包周期时，应根据实际业务需求和系统情况进行调整。同时，应考虑消息的重要性、消费者的处理能力、系统的资源限制等因素，以确保系统的稳定性和性能。

本节主要介绍分布式消息服务Kafka的功能特性 消息收发 消息发送，支持指定分区发送、同步发送、异步发送、分区批量累积发送；支持身份认证，客户端连接Broker时使用SSL或SASL进行验证，数据传加密传输；支持ACL机制，提供客户端读、写权限认证。支持通过压缩算法实现消息体压缩，减少网络传输数据量，提高Kafka的消息发送吞吐量。 消息消费，支持指定Partition消费、指定分区的offset消费；采用poll方式，支持批量消费，支持广播消费。 消息有序性 针对消息有序的业务需求，分为全局有序和局部有序。 全局有序：一个Topic下的所有消息都需要按照生产顺序消费。 局部有序：一个Topic下的消息，只需要满足同一业务字段的要按照生产顺序消费。例如：Topic消息是订单的流水表，包含订单orderId，业务要求同一个orderId的消息需要按照生产顺序进行消费。 由于Kafka的一个Topic可以分为了多个Partition，Producer发送消息的时候，是分散在不同 Partition的。当Producer按顺序发消息给Broker，但进入Kafka之后，这些消息就不一定进到哪个Partition，会导致顺序是乱的。因此要满足全局有序，需要1个Topic只能对应1个Partition。 要满足局部有序，只需要在发消息的时候指定Partition Key，Kafka对其进行Hash计算，根据计算结果决定放入哪个Partition。这样Partition Key相同的消息会放在同一个Partition。此时，Partition的数量仍然可以设置多个，提升Topic的整体吞吐量。

Kafka 是按分区一条一条消息顺序向前推进消费的，如果消费端拿到某条消息后执行消费逻辑失败，比如应用服务器出现了脏数据，导致某条消息处理失败，等待人工干预，那么有以下两种处理方式： 失败后一直尝试再次执行消费逻辑。这种方式有可能造成消费线程阻塞在当前消息，无法向前推进，造成消息堆积。 由于 Kafka 自身没有处理失败消息的设计，实践中通常会打印失败的消息、或者存储到某个服务（比如创建一个 Topic 专门用来放失败的消息），然后定时 check 失败消息的情况，分析失败原因，根据情况处理。