本页介绍天翼云TeleDB数据库消息订阅。 消息订阅可以对不同类型的消息进行订阅，选择需要的消息类型，保存后，订阅类型的消息会在触发时进行推送。

本节介绍如何开启Kafka的Smart Connect功能。 Smart Connect用于Kafka实例和其他云服务（如OBS）之间的数据同步，或者两个Kafka实例之间的数据同步，实现数据的备份或迁移。 Smart Connect的使用流程为： 1. 开启Smart Connect。 2. 创建Smart Connect任务。 本章节主要介绍如何开启Smart Connect。 约束与限制 开启Smart Connect后，实例需要另外收取用于Smart Connect的代理费用。 例如：规格为kafka.4u8g.cluster的实例，会另外创建至少两个规格为kafka.4u8g的代理，用于Smart Connect，所以需要收取相应代理费用。 前提条件 已创建Kafka实例，且实例状态为“运行中”。 “auto.create.groups.enable”已设置为“true”。如果需要修改“auto.create.groups.enable”的取值，请参考修改Kafka实例配置参数。 开启Smart Connect 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、通过以下任意一种方法，开启Smart Connect。 在待开启Smart Connect的Kafka实例所在行，单击“更多 > 开启Smart Connect”。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 开启Smart Connect”。 单击Kafka实例名称，进入实例详情页面。在“Smart Connect”后，单击。 单击Kafka实例名称，进入实例详情页面。在左侧导航栏单击“Smart Connect”，进入Smart Connect页面。单击“开启Smart Connect”。 5、单击，将Smart Connect设置为开启，并设置用于Smart Connect的代理数量，代理数取值范围为2~16个，单击“下一步”。 说明 代理数默认为2个，如果您预估2个Kafka实例间的同步流量比较大，例如大于50MB/s，请设置2个以上的代理数。 6、确认“Smart Connect”为开启状态，单击“提交”。 结束

本文为您介绍分布式消息服务MQTT的操作指南资源报表。 分布式消息服务MQTT提供连接数、生产关系数、Topic数、收发tps等历史指标数据的查询。 每分钟生产消息数查询 每分钟消费消息数查询 MQTT连接数查询 MQTT Topic数查询 MQTT订阅数查询 MQTT消息丢弃数查询 统计MQTT连接数、订阅数、生产消费消息数可以帮助： 性能监控： MQTT连接数、订阅数、生产消费消息数统计可以帮助您监控MQTT代理服务器的性能。通过实时查看MQTT连接数、订阅数、生产消费消息数，您可以确定代理服务器是否正常运行，以及是否需要进行性能调整或升级硬件资源。 故障检测： MQTT连接数、订阅数、生产消费消息数统计可以帮助您及早发现可能的故障。如果MQTT连接数、订阅数、生产消费消息数突然增加或减少，可能表明存在连接问题、设备故障或网络问题。这有助于快速识别和解决问题，减少系统停机时间。 资源规划： 了解MQTT连接数、订阅数、生产消费消息数的历史趋势和峰值可以帮助您进行资源规划。如果MQTT连接数、订阅数、生产消费消息数经常超过MQTT代理服务器的容量，您可能需要增加服务器资源或考虑负载均衡来确保系统的可伸缩性。 安全监控： MQTT连接数、订阅数、生产消费消息数统计可以用于安全监控。异常的MQTT连接数、订阅数、生产消费消息数可能表示潜在的安全风险，例如恶意攻击或未经授权的设备连接。通过MQTT连接数、订阅数、生产消费消息数统计，您可以及时发现这些问题并采取适当的安全措施。 优化性能： MQTT连接数、订阅数、生产消费消息数统计还可以用于优化性能。通过分析MQTT连接数、订阅数、生产消费消息数的模式和行为，您可以识别出哪些设备或主题产生了高连接负载，从而可以采取措施来优化系统的设计和配置。 合规性要求： 对于某些行业，例如物联网和金融领域，合规性要求可能需要跟踪和报告MQTT连接数、订阅数、生产消费消息数。MQTT连接数、订阅数、生产消费消息数统计可以帮助您满足这些合规性要求，并生成必要的报告。 综上所述，连接数、订阅关系数、主题数统计在监控、故障检测、资源规划、安全监控、性能优化和合规性要求方面都具有重要作用。它们提供了对MQTT系统运行状况的关键洞察，帮助您保持系统的稳定性、可用性和安全性。

指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 异常（exception，MoquetteBroker调用的异常信息统计。） exceptionType 异常类型 异常类型 ENUM LAST 异常（exception，MoquetteBroker调用的异常信息统计。） causeType 异常类 发生异常的类 ENUM LAST 异常（exception，MoquetteBroker调用的异常信息统计。） count 次数 该异常的发生次数 INT SUM 异常（exception，MoquetteBroker调用的异常信息统计。） message 异常消息 该异常产生的异常消息 STRING LAST 异常（exception，MoquetteBroker调用的异常信息统计。） stackTrace 异常堆栈 该异常产生的堆栈信息 CLOB LAST MoquetteBroker版本（version，MoquetteBroker版本。） MoquetteBroker主题汇总（total，MoquetteBroker主题汇总信息统计。） version 版本 版本 STRING LAST MoquetteBroker版本（version，MoquetteBroker版本。） MoquetteBroker主题汇总（total，MoquetteBroker主题汇总信息统计。） msgSentCount 消息推送次数 总的消息推送次数 INT SUM MoquetteBroker版本（version，MoquetteBroker版本。） MoquetteBroker主题汇总（total，MoquetteBroker主题汇总信息统计。） bytesSent 消息推送字节数 总消息推送字节数 INT SUM MoquetteBroker版本（version，MoquetteBroker版本。） MoquetteBroker主题汇总（total，MoquetteBroker主题汇总信息统计。） msgReceivedCount 消息接收次数 总消息接收次数 INT SUM MoquetteBroker版本（version，MoquetteBroker版本。） MoquetteBroker主题汇总（total，MoquetteBroker主题汇总信息统计。） bytesReceived 消息接收字节数 总消息接收字节数 INT SUM MoquetteBroker主题维度监控（brokerTopic，MoquetteBroker主题维度监控。） topic 主题 主题 ENUM LAST MoquetteBroker主题维度监控（brokerTopic，MoquetteBroker主题维度监控。） subscribeCount 订阅数 订阅数 INT SUM MoquetteBroker主题维度监控（brokerTopic，MoquetteBroker主题维度监控。） msgSentCount 消息推送次数 消息推送次数 INT SUM MoquetteBroker主题维度监控（brokerTopic，MoquetteBroker主题维度监控。） bytesSent 消息推送字节数 消息推送字节数 INT SUM MoquetteBroker主题维度监控（brokerTopic，MoquetteBroker主题维度监控。） msgReceivedCount 消息接收次数 消息接收次数 INT SUM MoquetteBroker主题维度监控（brokerTopic，MoquetteBroker主题维度监控。） bytesReceived 消息接收字节数 消息接收字节数 INT SUM

场景描述 在RocketMQ中，消费组（Consumer Group）是一种逻辑上的概念，用于标识一组消费者（Consumer）的集合，这些消费者共同消费同一个主题（Topic）的消息。 消费组的概念允许多个消费者同时消费同一个主题的消息，从而实现消息的负载均衡和高可用性。当一个消息发送到RocketMQ中的某个主题时，RocketMQ会将该消息推送给订阅了该Topic的所有消费组中的消费者。 每个消费组可以包含一个或多个消费者，这些消费者可以在同一个应用程序中或不同的应用程序中运行。消费者可以以集群模式（Cluster Mode）或广播模式（Broadcast Mode）进行消费。 在集群模式下，消费者以消费者组的形式协同工作，每个消息只会被消费组中的一个消费者消费。RocketMQ会根据消费者的负载均衡策略，将消息分发给不同的消费者，实现消息的负载均衡和高可用性。 在广播模式下，消费组中的每个消费者都会独立消费消息，每个消息会被消费组中的所有消费者都消费一次。广播模式适用于需要所有消费者都处理同一份消息的场景。 消费组的概念使得RocketMQ能够支持水平扩展和容错能力。通过增加消费者数量或部署多个消费者实例，可以提高消费能力和可用性。 需要注意的是，每个消费组在RocketMQ中必须具有唯一的名称，以便区分不同的消费组。同时，每个消费组可以订阅一个或多个Topic，以满足不同业务场景的需求。

本章节介绍ZooKeeper常用的技术应用场景以及优势 ZooKeeper 常用的技术应用场景如下所述。 场景一：分布式协调 分布式锁 ：在分布式环境中，程序都在独立的节点上，分布式锁是控制分布式系统之间同步访问共享资源的一种方式，分布式锁主要有如下2种类型： 独占锁：主要实现原理是利用ZooKeeper在一个具体路径下每个进程创建一个有序的临时节点，每个进程会判断自己的节点是否序号最小的节点，如果是则获得锁，如果不是则创建一个监听等待前一个序号小的临时节点释放锁。 共享锁：共享锁可以支持多个进程同时获取这把锁进行读操作，但是如果某个进程要获取写操作的权限，那么在写操作之前是没有读操作的数据，并且该进程是第一个获取到写操作类型锁的。 分布式队列 ：队列功能可以利用ZooKeeper的有序节点，实现先进先出（First Input First Output，简称FIFO）的分布式队列，即先进入队列的先被消费，后加入队列的后被消费。在创建znode时开启sequence 和 ephemeral模式，则被创建的节点结尾是一个递增的值，且不会重复。 场景二：配置中心 运用ZooKeeper的存储模式，实现配置信息的集中管理和数据的动态更新，保证了配置数据的一致性和实时性。

保证数据安全和访问安全 多租户场景下，分开存放不同租户的数据，以保证数据安全；控制用户对租户资源的访问权限，以保证访问安全。 调度器增强 多租户根据调度器类型分为开源的Capacity调度器和自主研发的增强型Superior调度器。为满足企业需求，克服Yarn社区在调度上遇到的挑战与困难，自主研发的Superior调度器，不仅集合了当前Capacity调度器与Fair调度器的优点，还做了以下增强： 增强资源共享策略 Superior调度器支持队列层级，在同集群集成开源调度器的特性，并基于可配置策略进一步共享资源。针对实例，管理员可通过Superior调度器为队列同时配置绝对值或百分比的资源策略计划。Superior调度器的资源共享策略将YARN的标签调度增强为资源池特性，YARN集群中的节点可根据容量或业务类型不同，进行分组以使队列更有效地利用资源。 基于租户的资源预留策略 部分租户可能在某些时间中运行关键任务，租户所需的资源应保证可用。Superior调度器构建了支持资源预留策略的机制，在这些租户队列运行的任务可立即获取到预留资源，以保证计划的关键任务可正常执行。 租户和资源池的用户公平共享 Superior调度器提供了队列内用户间共享资源的配置能力。每个租户中可能存在不同权重的用户，高权重用户可能需要更多共享资源。

本节主要介绍分布式消息服务Kafka的创建Topic说明 背景信息 Kafka的主题（Topic）是对消息进行分类和组织的概念。主题是Kafka中最基本的逻辑单元，用于区分不同类型的消息。 每个主题可以有多个分区（Partition），每个分区都是一个有序的消息日志。分区允许消息在集群中进行并行处理，提高了吞吐量和并发性能。 主题的特点包括： 逻辑分类：主题可以根据业务需求或数据类型进行逻辑分类，例如订单主题、日志主题、用户行为主题等。 多分区：主题可以被分成多个分区，每个分区都有自己的消息顺序。分区可以在不同的节点上进行存储和处理，实现了水平扩展和负载均衡。 副本复制：每个分区可以有多个副本（Replica），副本用于提供高可用性和容错性。副本可以分布在不同的节点上，当节点故障时可以自动进行故障转移。 持久化存储：主题中的消息被持久化存储在磁盘上，确保消息的可靠性和持久性。消费者可以随时消费主题中的历史消息，而不仅仅是最新的消息。 通过使用主题，Kafka能够有效地组织和管理大规模的消息流。主题的分区和副本机制提供了高可用性和容错性，使得Kafka成为处理大规模实时数据流的理想选择。 前提条件 已购买并部署分布式消息服务Kafka 操作步骤 创建Topic （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“Topic管理”后、点击“创建Topic”。 （5）点击“创建Topic”后，输入Topic名称、分区数等参数。 （6）创建好Topic后，可以点击“更多”按钮中的“生产消息”来测试其是否正常。

场景说明 RocketMQ提供了两种连接： 生产者连接：生产者通过调用RocketMQ提供的API，与RocketMQ代理（Broker）建立连接。生产者连接主要用于发送消息到RocketMQ。 消费者连接：消费者通过调用RocketMQ提供的API，与RocketMQ代理（Broker）建立连接。消费者连接主要用于从RocketMQ订阅消息并进行消费。 RocketMQ采用基于TCP/IP的通信协议，使用长连接方式进行连接。在建立连接之前，需要配置正确的RocketMQ服务端地址和端口，并使用相应的身份验证信息（如AccessKey和SecretKey）进行认证。 建立连接后，RocketMQ客户端可以通过连接发送消息到RocketMQ集群，并从集群中接收消息进行消费。连接的建立和维护是RocketMQ消息传递的基础，确保了消息的可靠传递和高效处理。 操作步骤 首先需要在RocketMQ控制台实例详情记录下集群的接入点信息，目前默认支持Namesrv的内网访问，将该地址作为客户端程序Namesrv地址的参数，具体生产消费消息的客户端示例代码请参考快速入门生产消费验证。 1、 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2、 登录分布式消息服务RocketMQ控制台，点击右上角地域选择对应资源池。 3、 进入实例列表，点击【管理】按钮进入管理菜单。 4、 进入主题管理菜单，点击【拨测】按钮，进行生产消费的拨测验证，验证开通的消息实例和主题。 5、 用户应用按照规范接入RocketMQ，发送、消费消息。

功能说明 当实例磁盘使用率达到指定阈值后，可选择磁盘自动扩容或动态消息保留策略来调整磁盘空间。 磁盘自动扩容 当磁盘使用率达到指定阈值后，系统会自动根据扩容策略增加磁盘容量，避免出现实例因磁盘容量不足产生的故障。 动态消息保留策略 当磁盘使用率达到指定阈值后，系统会自动根据消息保留策略删除一定比例的主题最早消息数据，释放磁盘空间。 约束与变更影响 动态消息保留策略和磁盘自动扩容同时最多只能开启一个。 磁盘自动扩容不会影响业务，如果短时间内磁盘使用量迅速增加，无法保证在耗尽磁盘空间前完成磁盘自动扩容。建议提前做好容量规划，先根据磁盘使用量做好扩容，再开启磁盘自动扩容。 动态消息保留策略触发后会删除最早的主题消息，可能导致消费者未及时消费的消息被删除，且调整效果存在一定延迟。建议及时消费数据，减少数据堆积。 触发动态消息保留策略后，主题的保留时长参数会被按比例减小且不会自动恢复，如后续需要调整请到主题管理页面进行操作。 前提条件 实例磁盘字段扩容会产生相应的费用，请确保账户余额充足。

本文介绍科研助手的应用类常见问题。 科研助手适用哪些场景？ HPC：适用于视频渲染、视频转码（视频格式转换、视频分辨率变化、添加水印/logo的）、科研教育等领域。 科学计算：适用于仿真模拟、化学分子计算、流体计算等。 生物分析：适用于基因测序、药物检测等领域。 科研助手的核心功能有哪些？ 多资源池管理： 底层资源池ECK专有资源、Serverless共享容器资源池、ECX虚拟机资源池满足不同价格区间的业务需求。 队列管理： 提供对作业队列管理，支持CPU/GPU作业和队列管理。 开发环境： 以云原生的资源使用和开发工具链的集成，为不同类型开发、探索、教学用户，提供更好云化开发体验。

安全组件云主机 端口 端口用途 AQZQAF（云防火墙） 业务端口 网络通信 AQZQOSM（云堡垒机） 20/21 FTP AQZQOSM（云堡垒机） 22 ssh AQZQOSM（云堡垒机） 443 https、协议代理（web） AQZQOSM（云堡垒机） 444 数字证书登陆 AQZQOSM（云堡垒机） 1521 Oracle数据库 AQZQOSM（云堡垒机） 3306 Mysql数据库 AQZQOSM（云堡垒机） 3389 RDP AQZQOSM（云堡垒机） 8080 http AQZQOSM（云堡垒机） 9443 Web客户端 AQZQOSM（云堡垒机） 12021 协议代理（FTP协议） AQZQOSM（云堡垒机） 12024 协议代理（字符客户端：xshell、putty、crt、winscp、filezilla） AQZQOSM（云堡垒机） 12025 协议代理（RDP客户端） AQZQLAS（云日志审计） TCP22 访问后台命令行 AQZQLAS（云日志审计） UDP161 snmp query设备状态 AQZQLAS（云日志审计） UDP162 接收snmp trap日志 AQZQLAS（云日志审计） UDP514 接收syslog日志 AQZQLAS（云日志审计） TCP8082 访问设备管理控制台 AQZQLAS（云日志审计） TCP8443、443 访问业务控制台 AQZQEDR（终端安全EDR） 443 Agent下载端口 AQZQEDR（终端安全EDR） 8083 业务端口 AQZQEDR（终端安全EDR） 54120 管理端口 AQZQDAS（云数据库审计） TCP22 ssh服务 AQZQDAS（云数据库审计） TCP80 web服务 AQZQDAS（云数据库审计） TCP443 安全的web服务 AQZQDAS（云数据库审计） TCP8443 安全的web数据服务 AQZQDAS（云数据库审计） TCP9092 kafka发送数据 AQZQDAS（云数据库审计） TCP9999 Agent审计服务端口 AQZQDAS（云数据库审计） TCP5672 rabbitmq客户端 AQZQDAS（云数据库审计） TCP10000 综合治理相互监听端口 AQZQDAS（云数据库审计） TCP15672 rabbitmq服务端 AQZQCSSP（安全专区服务） TCP4430 API通信端口 AQZQCSSP（安全专区服务） TCP4433 单点登录 AQZQCSSP（安全专区服务） UDP4500、UDP500 用来创建扫描隧道与执行扫描 AQZQCSSP（安全专区服务） TCP7443 API通信端口，用来授权与部署扫描任务 AQZQCSSP（安全专区服务） TCP8888 代理组件后端 AQZQCSSP（安全专区服务） TCP8989 单点登录 AQZQCSSP（安全专区服务） TCP9999 自动升级

操作步骤 1.登录天翼云官网，进入管理中心。 2.进入消息中心 3.进入消息订阅，新增消息接收人。 4.进入消息订阅的消息管理，将新增的消息接收人配置到安全消息一行中。

配置资源 配置队列及任务优先级，如果还未创建队列，请参考“创建队列”相关的文档，创建完成之后点击 “创建队列” 旁边的刷新按钮再进行队列选择。 按需配置CPU、内存、GPU、NPU资源。 其他配置 root用户启动：如果关闭了 “工作空间目录配置” 选项可以选择将root用户启动关闭，将使用非root用户启动容器。 模型分析：打开模型分析时，会在创建开发机时自动创建TensorBoard服务，模型分析配置会自动关联前面数据集配置中已选择的私有数据集（仅支持配置私有数据集，公共数据集具有只读权限无法进行文件写入），可以选择不打开模型分析，后续再单独创建。 环境变量按需进行配置。 点击创建。 远程访问 查看开发机列表。 等待新建开发机的“访问”按钮可点击后，访问提示信息中的链接，先选择资源池信息，然后配置“弹性负载均衡>访问策略组”，修改isuitenotebookacl策略组的配置（默认只放开了127.0.0.1地址），需要增加本地客户端的出口IP配置。 获取本机出口IP的方式可通过百度搜索“ip地址”进行查询。 配置完成后回到“智算套件>AI应用开发”控制台，点击对应开发机的“访问”按钮即可访问该开发机，工作空间会显示持久化存储中保存的文件等。

配置资源 配置队列及任务优先级，如果还未创建队列，请参考“创建队列”相关的文档，创建完成之后点击 “创建队列” 旁边的刷新按钮再进行队列选择。 按需配置CPU、内存、GPU、NPU资源。 其他配置 root用户启动：如果关闭了 “工作空间目录配置” 选项可以选择将root用户启动关闭，将使用非root用户启动容器。 模型分析：打开模型分析时，会在创建开发机时自动创建TensorBoard服务，模型分析配置会自动关联前面数据集配置中已选择的私有数据集（仅支持配置私有数据集，公共数据集具有只读权限无法进行文件写入），可以选择不打开模型分析，后续再单独创建。 环境变量按需进行配置。 点击创建。 远程访问 查看开发机列表 等待新建开发机的“访问”按钮可点击后，访问提示信息中的链接，先选择资源池信息，然后配置“弹性负载均衡>访问策略组”，修改isuitenotebookacl策略组的配置（默认只放开了127.0.0.1地址），需要增加本地客户端的出口IP配置。 获取本机出口IP的方式可通过百度搜索“ip地址”进行查询。 配置完成后回到“智算套件>AI应用开发”控制台，点击对应开发机的 “访问” 按钮即可访问该开发机，工作空间会显示持久化存储中保存的文件等。

开发机资源配置 配置队列及任务优先级，如果还未创建队列，请参考“创建队列”相关的文档，创建完成之后点击 “创建队列” 旁边的刷新按钮再进行队列选择。 按需配置CPU、内存、GPU、NPU资源。 其他配置 root用户启动：如果关闭了 “工作空间目录配置” 选项可以选择将root用户启动关闭，将使用非root用户启动容器。 模型分析：打开模型分析时，会在创建开发机时自动创建TensorBoard服务，模型分析配置会自动关联前面数据集配置中已选择的私有数据集（仅支持配置私有数据集，公共数据集具有只读权限无法进行文件写入），可以选择不打开模型分析，后续再单独创建。 环境变量按需进行配置。 点击创建。 开发机远程访问 查看开发机列表 等待新建开发机的“访问”按钮可点击后，访问提示信息中的链接，先选择资源池信息，然后配置“弹性负载均衡>访问策略组”，修改isuitenotebookacl策略组的配置（默认只放开了127.0.0.1地址），需要增加本地客户端的出口IP配置。 获取本机出口IP的方式可通过百度搜索“ip地址”进行查询。 配置完成后回到“智算套件>AI应用开发”控制台，点击对应开发机的 “访问” 按钮即可访问该开发机，工作空间会显示持久化存储中保存的文件等。

设备偶尔出现“connection reset by peer”错误。 当两个客户端具有相同的客户端ID（Client ID）时，MQTT Broker会根据规范的要求进行互踢（Kickoff），即断开其中一个客户端的连接。这是因为MQTT协议要求每个客户端ID必须是唯一的，用于标识不同的客户端。 当发生客户端ID重复的情况时，MQTT Broker会选择保持最新连接的客户端，而断开旧连接的客户端。这是为了确保每个客户端ID都对应唯一的客户端连接，并避免潜在的冲突和数据混乱。 当旧连接的客户端被断开后，它可能仍然尝试发送数据到已经断开的TCP连接。这会导致对端Socket发送RST（Reset）报文，通知客户端连接已经被重置或关闭。这是正常的网络行为，用于清除已经断开的连接的残留数据。 资源报表的最大查询范围是多少？ 分布式消息服务MQTT支持查询7天以内的指标数据。 为什么设备都断电了，控制台还显示设备在线？ 分布式消息服务MQTT会定时检查客户端心跳，当系统检测到客户端超过指定时长（1.5keepalive时长）没有心跳，则会断开连接。 如何在控制台修改订阅关系？ 订阅关系在订阅消息的SDK代码中设置，控制台只能查询。 本地测试先发送消息，再订阅接收不到消息，设置离线消息后还是接收不到。 若先启动生产者发送消息，如果Topic从未有过订阅，则即使设置了离线消息（QoS1且cleanSessionfalse），消费者启动后也不会收到离线消息；如果Topic被消费者订阅过，消费者离线后，若设置了离线消息，这些离线消息会在消费者再次上线后被消费到。

介绍分布式消息服务Kafka按位点查询的功能操作内容。 场景描述 Kafka按位点查询是指通过指定偏移量或时间戳来查询Kafka主题中的消息。以下是一些常见的按位点查询的场景描述： 数据回溯：当需要回溯到过去的某个时间点或特定的消息偏移量时，可以使用按位点查询功能。这在故障排查、数据分析和报告生成等场景中非常有用，可以准确地获取特定时间点或消息的数据。 数据恢复：在某些情况下，如果由于意外情况导致数据丢失或损坏，可以使用按位点查询来恢复丢失的数据。通过指定偏移量或时间戳，可以定位到丢失数据之前的位置，然后将数据重新消费或导出。 数据验证：按位点查询还可以用于数据验证和一致性检查。通过指定特定的偏移量或时间戳，可以比较不同主题或分区之间的消息，以确保数据的一致性和正确性。 数据分析：按位点查询对于数据分析和统计也非常有用。通过指定特定的时间戳或偏移量范围，可以获取所需的数据子集，并对其进行进一步的分析和处理。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消息查询”后默认就是按位点查询。 （5）下拉选择topic可以切换要查询的topic，填写offset消息位置，partition分区编号，可查询该分区offset位置开始的10条消息。 （6）点击消息列表的“消息详情”可查看消息详情信息

方案一：先迁生产，再迁消费 指先将生产消息的业务迁移到新的Kafka，原Kafka不会有新的消息生产。待原有Kafka实例的消息全部消费完成后，再将消费消息业务迁移到新的Kafka，开始消费新Kafka实例的消息。 1、将生产客户端的Kafka连接地址修改为新Kafka实例的连接地址。 2、重启生产业务，使得生产者将新的消息发送到新Kafka实例中。 3、观察各消费组在原Kafka的消费进度，直到原Kafka中数据都已经被消费完毕。 4、将消费客户端的Kafka连接地址修改为新Kafka实例的连接地址。 5、重启消费业务，使得消费者从新Kafka实例中消费消息。 6、观察消费者是否能正常从新Kafka实例中获取数据。 7、迁移结束。 本方案为业界通用的迁移方案，操作步骤简单，迁移过程由业务侧自主控制，整个过程中消息不会存在乱序问题， 适用于对消息顺序有要求的场景 。但是该方案中需要等待消费者业务直至消费完毕，存在一个时间差的问题，部分数据可能存在较大的端到端时延。 方案二：同时消费，后迁生产 指消费者业务启用多个消费客户端，分别向原Kafka和新Kafka实例消费消息，然后将生产业务切到新Kafka实例，这样能确保所有消息都被及时消费。 1、启动新的消费客户端，配置Kafka连接地址为新Kafka实例的连接地址，消费新Kafka实例中的数据。 说明 原有消费客户端需继续运行，消费业务同时消费原Kafka与新Kafka实例的消息。 2、修改生产客户端，Kafka连接地址改为新Kafka实例的连接地址。 3、重启生产客户端，将生产业务迁移到新Kafka实例中。 4、生产业务迁移后，观察连接新Kafka实例的消费业务是否正常。 5、等待原Kafka中数据消费完毕，关闭原有消费业务客户端。 6、迁移结束。 迁移过程由业务自主控制。本方案中消费业务会在一段时间内同时消费原Kafka和新Kafka实例。由于在迁移生产业务之前，已经有消费业务运行在新Kafka实例上，因此不会存在端到端时延的问题。但在迁移生产的开始阶段，同时消费原Kafka与新Kafka实例，会导致部分消息之间的生产顺序无法保证，存在消息乱序的问题。此场景 适用于对端到端时延有要求，却对消息顺序不敏感的业务 。 FAQ：如何将持久化数据也一起迁移 如果需要将原Kafka的已消费数据也迁移到Kafka专享实例，可以使用开源工具MirrorMaker，模拟成原Kafka的消费客户端，以及新Kafka实例的生产客户端，将Kafka所有消息数据迁移到新的Kafka实例。 需要注意的是，天翼云Kafka实例为3副本存储，因此建议实例存储空间为原业务的单副本消息存储的3倍。

操作步骤 1.登录天翼云官网，进入管理中心。 2.进入消息中心 3.进入消息订阅，新增消息接收人。 4.进入消息订阅的消息管理，将新增的消息接收人配置到安全消息一行中。

参数名 描述 集群 显示上级父租户所在集群。 父租户资源 显示上级父租户的名称。 名称 指定当前租户的名称，长度为3~50个字符，可包含数字、字母或下划线（）。 根据业务需求规划子租户的名称，不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。 租户资源类型 指定租户是否是一个叶子租户： 选择“叶子租户资源”：当前租户为叶子租户，不支持添加子租户。 选择“非叶子租户资源”：当前租户为非叶子租户，支持添加子租户，但租户层级不能超过5层。 计算资源 为当前租户选择动态计算资源。 选择“Yarn”时，系统自动在Yarn中以子租户名称创建任务队列。 − 如果是叶子租户，叶子租户可直接提交到任务队列中。 − 如果是非叶子租户，非叶子租户不能直接将任务提交到队列中。 但是，Yarn会额外为非叶子租户增加一个任务队列（隐含），队列默认命名为“default”，用于统计当前租户剩余的资源容量，实际任务不会分配在此队列中运行。 不选择“Yarn”时，系统不会自动创建任务队列。 配置模式 计算资源参数配置模式。 选择“基础”时，只需配置“默认资源池容量 （%）”参数即可。 选择“高级”时，可手动配置资源分配权重，租户的最小/最大/预留资源。 默认资源池容量（%） 配置当前租户使用的计算资源百分比，基数为父租户的资源总量。 权重 资源分配权重，取值范围从0到100。 最小资源 保证租户资源能获得的资源（有抢占支持）。取值可以是父租户资源的百分比或绝对值。当租户资源作业量比较少时，资源会自动借给其他租户资源，当租户资源能使用的资源不满足最小资源时，可以通过抢占来要回之前借出的资源。 最大资源 租户资源最多能使用的资源，租户资源不能得到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。 预留资源 租户资源预留资源。即使租户资源内没有作业，预留的资源也不能给别的租户资源使用。取值可以是父租户资源的百分比或绝对值。 存储资源 为当前租户选择存储资源。 选择“HDFS”时，系统将自动在HDFS父租户目录中，以子租户名称创建文件夹。 不选择“HDFS”时，系统不会分配存储资源。 文件目录数上限 配置文件和目录数量配额。 存储空间配额 配置当前租户使用的HDFS存储空间配额。 当存储空间配额单位设置为MB时，范围为1～8796093022208，当“存储空间配额单位”设置为GB时，范围为1～8589934592。 此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。 如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。 如果此配额大于父租户的配额，实际存储量不超过父租户配额。 存储路径 配置租户在HDFS中的存储目录。 系统默认将自动在父租户目录中以子租户名称创建文件夹。例如子租户“ta1s”，父目录为“/tenant/ta1”，系统默认自动配置此参数值为“/tenant/ta1/ta1s”，最终子租户的存储目录为“/tenant/ta1/ta1s”。 支持在父目录中自定义存储路径。 服务 是否需要关联使用其他服务的资源，参见步骤4。 描述 配置当前租户的描述信息

本文主要介绍监控告警问题。 云监控无法展示Kafka监控数据 Topic监控数据无法展示，可能原因如下： Topic名称开头包含特殊字符，例如下划线“”、号“”。 Kafka实例中没有创建Topic。 解决方法如下： 删除带特殊字符的Topic。 创建Topic。 消费组监控数据无法展示，可能原因如下： 消费组名称开头包含特殊字符，例如下划线“”、号“”。 此消费组从未有消费者连接。 Kafka监控显示消息堆积数跟实例里的消息数不一致？ 问题现象 ：监控显示消息堆积数为8.1亿+，Kafka控制台显示实例中6个Topic的消息数总和为1亿+，两者不一致。 问题结论 ：两者统计方式不同，Kafka控制台显示的消息数为实例中未消费的消息个数，而监控显示的消息堆积数Topic中的消息积压数消费组数。 Kafka的消费组删除了，怎么监控页面还可以看到这个消费组？ 监控数据是每分钟进行采集上报，上报的数据经过整理后才会显示在监控页面上，此过程大约需要几分钟到十几分钟，建议您在删除消费组后，过一段时间再去监控页面查看。

迁移方案一：先迁生产，再迁消费 先将生产消息的业务迁移到新的Kafka，原Kafka不会有新的消息生产。待原有Kafka实例的消息全部消费完成后，再将消费消息业务迁移到新的Kafka，开始消费新Kafka实例的消息。 本方案为业界通用的迁移方案，操作步骤简单，迁移过程由业务侧自主控制，整个过程中消息不会存在乱序问题， 适用于对消息顺序有要求的场景 。但是该方案中需要等待消费者业务直至消费完毕，存在一个时间差的问题，部分数据可能存在较大的端到端时延。 1、将生产客户端的Kafka连接地址修改为新Kafka实例的连接地址。 2、重启生产业务，使得生产者将新的消息发送到新Kafka实例中。 3、观察各消费组在原Kafka的消费进度，直到原Kafka中数据都已经被消费完毕。 4、将消费客户端的Kafka连接地址修改为新Kafka实例的连接地址。 5、重启消费业务，使得消费者从新Kafka实例中消费消息。 6、观察消费者是否能正常从新Kafka实例中获取数据。 7、迁移结束。 结束 迁移方案二：同时消费，后迁生产 消费者业务启用多个消费客户端，分别向原Kafka和新Kafka实例消费消息，然后将生产业务切到新Kafka实例，这样能确保所有消息都被及时消费。 本方案中消费业务会在一段时间内同时消费原Kafka和新Kafka实例。由于在迁移生产业务之前，已经有消费业务运行在新Kafka实例上，因此不会存在端到端时延的问题。但在迁移生产的开始阶段，同时消费原Kafka与新Kafka实例，会导致部分消息之间的生产顺序无法保证，存在消息乱序的问题。此场景 适用于对端到端时延有要求，却对消息顺序不敏感的业务 。 1、启动新的消费客户端，配置Kafka连接地址为新Kafka实例的连接地址，消费新Kafka实例中的数据。 原有消费客户端需继续运行，消费业务同时消费原Kafka与新Kafka实例的消息。 2、修改生产客户端，Kafka连接地址改为新Kafka实例的连接地址。 3、重启生产客户端，将生产业务迁移到新Kafka实例中。 4、生产业务迁移后，观察连接新Kafka实例的消费业务是否正常。 5、等待原Kafka中数据消费完毕，关闭原有消费业务客户端。 6、迁移结束。 结束

实施步骤 （1）购买一台弹性云主机，确保弹性云主机与源集群、目标集群网络互通。 （2）登录弹性云主机，安装Java JDK，并配置JAVAHOME与PATH环境变量。其中“/usr/local/java/jdk1.8.0161”为JDK的安装路径，请根据实际情况修改。 exportJAVAHOME/usr/local/java/jdk1.8.0161 exportPATH$JAVAHOME/bin:$PATH （3）下载安装kafka 下载页面： （4）进入kafka安装目录，修改“config/connectmirrormaker.properties”配置文件，在配置文件中指定源集群和目标集群的IP地址和端口以及其他配置。 （5）在kafka安装目录下，启动MirrorMaker，进行数据同步。 ./bin/connectmirrormaker.sh config/connectmirrormaker.properties 验证数据是否同步 要验证MirrorMaker是否成功同步数据，可以采取以下几种方法： 1. 检查目标集群的主题和分区： 在目标集群上使用Kafka命令行工具或管理工具，查看MirrorMaker复制的主题和分区是否存在。确保目标集群上有与源集群相同的主题和分区。 2. 检查消息偏移量： 使用Kafka消费者API或命令行工具，从目标集群中消费复制的消息。验证消息的偏移量是否与源集群中的消息偏移量一致。如果偏移量相同，表示数据同步成功。 3. 检查消息内容： 从目标集群中消费复制的消息，并与源集群中的消息进行比较。验证消息内容是否一致。可以使用Kafka消费者API或命令行工具来消费消息，并进行比较。 4. 监控MirrorMaker的指标： 在MirrorMaker节点上启用监控，收集关于复制进度、延迟和吞吐量等指标的数据。通过监控指标，可以了解MirrorMaker的工作状态和性能表现，进一步验证数据同步的情况。 5. 进行端到端测试： 在源集群中发送一些测试消息，并在目标集群中验证这些消息是否被成功复制。可以使用Kafka生产者API或命令行工具发送测试消息，并使用Kafka消费者API或命令行工具从目标集群中消费并验证消息。 通过以上方法，可以验证MirrorMaker是否成功同步数据，并确保数据在源集群和目标集群之间的一致性。根据实际需求，可以选择适合的验证方法或组合多种方法来进行验证。

本章节主要介绍使用TPCH样例模板开发并提交Spark SQL作业。 为了便捷快速的执行SQL操作，DLI支持定制模板或将正在使用的SQL语句保存为模板。保存模板后，不需编写SQL语句，可通过模板直接执行SQL操作。 当前系统提供了多条标准的TPCH查询语句模板，可以根据当前需求选择使用。本样例演示通过一个TPCH样例模板开发并提交Spark SQL作业的基本流程： 操作步骤 1.登录DLI管理控制台。 2.在DLI管理控制台，选择“作业模板”>“SQL模板”>“样例模板”，在“tpchQuery”下找到“Q1价格摘要报告查询”样例模板，单击操作列的“执行”进入“SQL编辑器”。 3.在“SQL编辑器”页面右侧的编辑窗口上方，“执行引擎”选择“spark”，“队列”选择“default”，“数据库”选择“default”，单击“执行”。 4.SQL作业编辑窗口下方“查看结果”页签查看查询结果。 本示例使用系统预置的“default”队列和数据库进行演示，也可以在自建的队列和数据库下执行。 创建队列请参考《数据湖探索用户指南》>《创建队列》。创建数据库请参考《数据湖探索用户指南》下的“数据管理 > 库表管理 > 创建数据库和表”。

MRS的Storm集群提交任务时如何指定日志路径？ 客户可以根据自己的需求，修改MRS的流式Core节点上的/opt/Bigdata/MRSXXX /1XX Supervisor/etc/worker.xml文件，将标签filename的值设定为客户需要的路径，然后在Manager页面重启对应实例。 建议客户尽量不要修改MRS默认的日志配置，可能会造成日志系统异常。 如何检查Yarn的ResourceManager配置是否正常？ 本案例适用于MRS 3.x之前版本。 登录MRS Manager页面，选择“服务管理 > Yarn > 实例”。 1.分别单击两个ResourceManager名称，选择“更多 > 同步配置”，并选择不勾选“重启配置过期的服务或实例。”。 2.单击“是”进行配置同步。 3.以root用户分别登录Master节点。 4.执行 cd /opt/Bigdata/MRSCurrent/ ResourceManager/etcUPDATED/ 命令进入etcUPDATED目录。 5.执行grep '.queues' capacityscheduler.xml A2找到配置的所有队列，并检查队列和Manager页面上看到的队列是否一一对应。 rootdefault在Manager页面隐藏，在页面看不到属于正常现象。 6.执行grep '.capacity' capacityscheduler.xml A2找出各队列配置的值，检查每个队列配置的值是否和Manager上看到的一致。并检查所有队列配置的值的总和是否是100。 是，则说明配置正常。 否，则说明配置异常，请执行后续步骤修复。 7.登录MRS Manager页面，选择“主机管理”。 8.查找主Master节点，主机名称前带实心五角星的Master节点即为主Master节点。 9.以root用户登录主Master节点。 10.执行su omm切换到omm用户。 11.执行sh /opt/Bigdata/om0.0.1/sbin/restartcontroller.sh重启Controller。 请在Manager页面没有其他操作后重启Controller，重启Controller对大数据组件业务无影响。 12.重新执行步骤1~步骤7同步ResourceManager的配置并检查配置是否正常。 配置同步完成后Manager页面可能显示配置过期，该显示不影响业务，是由于组件没有加载最新的配置，待后续组件重启的时会自动加载。

参数 说明 Rulename 限流规则名称。 Running 匹配到该限流规则，且正常执行的SQL语句数量。 Waiting 匹配到该限流规则，且正在等待队列里的SQL语句数量。 Killed 匹配到该限流规则，且被Kill的SQL语句数量。 Totalmatch 匹配到该限流规则的总次数。 Maxconcurrencypernode 每个计算节点的并发度。 Waitqueuesizepernode 每个计算节点上等待队列的最大长度。 Waittimeout SQL语句在等待队列的最大等待时间。 Maxmergerows SELECT语句从DN返回的最大行数。 Sqltype SQL语句类型，可能值： SELECT DELETE UPDATE INSERT User 用户名。 Keywords 关键词列表。 Templateid SQL模板的哈希值。 Createdtime 限流规则的创建时间。 Templatesql SQL模板。

步骤二：测试验证 1. 登录分布式消息服务Kafka控制台。 2. 在左侧导航栏，单击实例列表，选择事件流的源实例。 3. 在主题管理页面，选择源的目标主题，操作列点击更多 ，然后点击生产消息。 4. 在生产消息对话框输入想要发送的消息，然后点击发送消息。 5. 发送消息后，登录函数计算管理控制台。 6. 在函数页面，单击目标函数名称。 7. 在目标函数详情页面，单击监控页签，查看函数是否被触发以及调用时延，如图1所示。 图1 在函数计算管理控制台中查看函数监控指标

在会议过程中，参会者可以发送和接收实时消息，支持群聊和一对一私聊。 功能说明 可选择发送消息给会中所有人或指定单个成员。当成员收到聊天消息时，底部工具栏的“聊天”按钮右上角会显示红色气泡提示有未读消息。 聊天窗口仅支持发送文字消息，不支持发送图片或文件。 主持人可管理聊天权限，包括限制部分参会者的聊天发送功能。 操作步骤 1. 进入会议后，点击工具栏中的“聊天”图标，打开右侧聊天窗口。 2. 在聊天窗口顶部的下拉框中选择消息接收对象（所有人或指定成员），也可以在成员列表中选择对应的成员后点击“私聊”。 3. 在输入框输入消息内容，点击发送按钮即可发送消息。 注意事项 请勿在聊天中发送违法或违规内容，保持良好会议秩序。 如果消息发送失败，请检查网络连接并重试。

介绍APM监控详情里消息监控中的KafkaProducer相关指标的名称、含义等信息。 KafkaProducer监控指标说明表 指标类别 指标 指标说明 数据类型 异常 exceptionstacktrace 异常产生的堆栈信息 String 异常 exceptiontype 异常类型 String 异常 exceptioncount 错误数 Int Topic (Topic，Kafka的Topic监控数据) id Clientid和IP信息 Enum Topic (Topic，Kafka的Topic监控数据) topic Kafka的Topic名称 Enum Topic (Topic，Kafka的Topic监控数据) kafkaproducerbyterate 每秒发送字节 Int Topic (Topic，Kafka的Topic监控数据) kafkaproducerrecorderrorrate 每秒错误数 Int Topic (Topic，Kafka的Topic监控数据) kafkaproducerrecordretryrate 每秒重试数 Int Topic (Topic，Kafka的Topic监控数据) kafkaproducerrecordsendrate 每秒发送数 Int Topic (Topic，Kafka的Topic监控数据) kafkaproducerrecordsendtotal 总发送次数 Int Topic (Topic，Kafka的Topic监控数据) kafkaproducerbytetotal 总发送字节数 Int 汇总（Total，KafkaProducer汇总信息统计） kafkaproducerrecordsendtotal 总发送次数 Int 汇总（Total，KafkaProducer汇总信息统计） kafkaproducerbytetotal 总发送字节数 Int 发送方法（DoSendMethod，发送消息方法监控） topic Kafka的Topic名称 Enum 发送方法（DoSendMethod，发送消息方法监控） errorCount 错误数 Int 发送方法（DoSendMethod，发送消息方法监控） invokeCount 调用次数 Int 发送方法（DoSendMethod，发送消息方法监控） maxTime 最慢时延 Int 发送方法（DoSendMethod，发送消息方法监控） ms0To10Count 010ms次数 Int 发送方法（DoSendMethod，发送消息方法监控） ms10To100Count 10100ms次数 Int 发送方法（DoSendMethod，发送消息方法监控） ms100To500Count 100500ms次数 Int 发送方法（DoSendMethod，发送消息方法监控） ms500To1000Count 5001000ms次数 Int 发送方法（DoSendMethod，发送消息方法监控） ms1000To10000Count 110s次数 Int 发送方法（DoSendMethod，发送消息方法监控） msMorethan10000Count 10s以上次数 Int 发送方法（DoSendMethod，发送消息方法监控） totalTime 调用总耗时 Int

自定义云短信网关 1 登录云堡垒机系统。 2 选择“系统 > 系统配置 > 外发配置”，进入系统外发配置管理页面。 外发配置 3 在“短信网关配置”区域，单击“编辑”，弹出短信网关配置窗口。 4 单击“确认”，返回外发配置页面，即可查看短信网关信息。 云短信网关参数说明 参数 说明 APPKey 申请短信应用后，输入短信应用的APPKey。 APPSecret 申请短信应用后，输入短信应用的APPSecret。 APP接入地址 申请短信应用后，输入短信应用的APP接入地址。 通道号 申请短信签名后，输入短信前面通道号。 模板ID 申请短信模板后，输入短信模板的ID。 测试手机号 输入可用手机号码，验证短信内容。 告警配置 配置告警方式 针对系统消息、业务消息、任务消息、命令告警、工单消息五大类告警类型，支持不同告警类型各级别消息是否告警和告警方式。 告警方式包括消息中心、邮件通知、短信通知。 根据告警等级划分各类消息是否告警，以及告警方式。 默认低等级消息不告警。 默认中等级消息告警，通过消息中心告警提醒。 默认高等级消息告警，通过消息中心和邮件通知。 本小节主要介绍如何配置系统告警方式。

本文介绍消息通知的功能。 消息通知是什么 消息通知功能是网络管理与业务运营系统中的关键组件，它主要负责及时、精准地将各类重要事件信息传达给相关人员。无论是网络监测中带宽使用超量，还是业务流程出现异常状况，该功能都能自动生成对应的消息通知，让相关人员第一时间掌握情况，为后续处理争取时间，保障系统稳定运行和业务顺利开展。 消息通知特点 拥有高度灵活的配置能力，支持对消息类型、通知方式和接收对象进行自由组合设置。比如，针对带宽超量事件可选择短信通知特定网络管理员，针对业务订单异常可通过邮件通知负责人，满足多样化的业务需求。 通知方式丰富多样，如短信、邮件、客户端等，每种方式各有特点，能适配不同场景。像短信通知即时性强，可确保信息快速触达；邮件通知适合传递详细内容，方便接收者深入了解事件。 短信通知方面，支持接入如阿里短信网关等多种可靠的短信网关，借助成熟的短信服务平台，保证短信通知的高效性和稳定性，避免重要信息遗漏，提升整体系统的可靠性和响应速度。 消息通知功能 功能 功能说明 通知类型 产品识别并针对不同性质的事件生成相应的消息通知。例如，套餐用量使用方面，当短信使用出现超量事件时，系统会自动生成对应的通知消息，消息通知需要由客户进行设定通知的方式、通知对象以便更及时的进行消息传递。 通知渠道 为了实现高效、稳定的通知服务，产品除了自身携带的通知网关后，还支持接入多种网关，比如阿里云短信服务网关。