本节介绍如何开启Kafka的Smart Connect功能。 Smart Connect用于Kafka实例和其他云服务（如OBS）之间的数据同步，或者两个Kafka实例之间的数据同步，实现数据的备份或迁移。 Smart Connect的使用流程为： 1. 开启Smart Connect。 2. 创建Smart Connect任务。 本章节主要介绍如何开启Smart Connect。 约束与限制 开启Smart Connect后，实例需要另外收取用于Smart Connect的代理费用。 例如：规格为kafka.4u8g.cluster的实例，会另外创建至少两个规格为kafka.4u8g的代理，用于Smart Connect，所以需要收取相应代理费用。 前提条件 已创建Kafka实例，且实例状态为“运行中”。 “auto.create.groups.enable”已设置为“true”。如果需要修改“auto.create.groups.enable”的取值，请参考修改Kafka实例配置参数。 开启Smart Connect 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、通过以下任意一种方法，开启Smart Connect。 在待开启Smart Connect的Kafka实例所在行，单击“更多 > 开启Smart Connect”。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 开启Smart Connect”。 单击Kafka实例名称，进入实例详情页面。在“Smart Connect”后，单击。 单击Kafka实例名称，进入实例详情页面。在左侧导航栏单击“Smart Connect”，进入Smart Connect页面。单击“开启Smart Connect”。 5、单击，将Smart Connect设置为开启，并设置用于Smart Connect的代理数量，代理数取值范围为2~16个，单击“下一步”。 说明 代理数默认为2个，如果您预估2个Kafka实例间的同步流量比较大，例如大于50MB/s，请设置2个以上的代理数。 6、确认“Smart Connect”为开启状态，单击“提交”。 结束

系统角色/策略名称 描述 类别 依赖关系 DMS FullAccess 分布式消息服务管理员权限，拥有该权限的用户可以操作所有分布式消息服务的功能。 系统策略 无 DMS UserAccess 分布式消息服务普通用户权限（没有实例创建、修改、删除、扩容）。 系统策略 无 DMS ReadOnlyAccess 分布式消息服务的只读权限，拥有该权限的用户仅能查看分布式消息服务数据。 系统策略 无 DMS Administrator 分布式消息服务的管理员权限。 系统角色 依赖Tenant Guest和VPC Administrator。

本章节介绍ECS应用实例批量运维功能 概述 ECS应用实例批量运维功能主要提供按集群、按应用实例、按ECS实例运维三种方式，以满足用户不同场景下对ECS云主机运维需求。 前提条件 1. 当前环境已导入ECS云主机或已部署ECS应用实例 批量运维 微服务云应用平台提供按集群、按应用实例、按ECS实例三种方式运维，具体操作如下 1. 按集群，添加目标ECS集群，然后输入命令 2. 按应用实例，添加目标应用实例，然后输入命令 3. 按ECS实例，添加目标ECS云主机实例，然后输入命令 用户执行运维命令可以在执行记录中查看，以及详情。

本小节介绍微隔离防火墙账户管理。 1.点击账户管理，即可进入账户管理页面，账户管理页面可查看用户登录信息，新增用户、修改密码等操作。 2.账户分为超级管理员、管理员、审查员。 超级管理员：最高权限，可创建管理员及审查员； 管理员：可以进行策略设置、工作组设置、工作负载接入等操作，但不能查看系统管理日志； 审查员：只可以查看系统日志、操作日志及告警规则。 3.超级管理员可以在账户管理页面解锁被锁定的用户，也可针对某一用户生成API密钥。被生成API密钥的账户，可以使用API接口。

本章主要介绍响应消息头。 调用API时，API网关增加如下响应消息头。 XApigMode: debug表示响应消息头增加API网关调试信息。 响应消息头 描述 说明 ::: XRequestId 请求ID 所有合法请求，都会返回此参数 XApigLatency 从API网关接收请求到后端返回消息头的用时 仅在请求消息头包含XApigMode: debug时，返回此参数 XApigUpstreamLatency 从API网关请求后端到后端返回消息头的用时 仅在请求消息头包含XApigMode: debug，且后端服务类型不为Mock时，返回此参数 XApigRateLimitapi API流量控制信息 示例：remain:9,limit:10,time:10 second 仅在请求消息头包含XApigMode: debug，且API配置了API流量控制时，返回此参数 XApigRateLimituser 用户流量限制信息 示例：remain:9,limit:10,time:10 second 仅在请求消息头包含XApigMode: debug，且API配置了用户流量限制时，返回此参数 XApigRateLimitapp 应用流量限制信息 示例：remain:9,limit:10,time:10 second 仅在请求消息头包含XApigMode: debug，且API配置了应用流量限制时，返回此参数 XApigRateLimitip 源IP流量限制信息 示例：remain:9,limit:10,time:10 second 仅在请求消息头包含XApigMode: debug，且API配置了源IP流量限制时，返回此参数 XApigRateLimitapiallenv API默认流控信息 示例：remain:199,limit:200,time:1 second 仅在请求消息头包含XApigMode: debug时，返回此参数

参数说明 参数 说明 示例 实例 选择分布式消息RocketMQ实例。 instancexxx Topic 选择RocketMQ实例的Topic。 topic1 消息体 选择消息体（Body）的内容，更多内容请参考事件内容转换。 全部事件 自定义属性 选择自定义属性（Properties）的内容，更多内容请参考事件内容转换。 空 索引 选择索引（Keys）的内容，更多内容请参考事件内容转换。 空 标签 选择标签（Tags）的内容，更多内容请参考事件内容转换。 空 结果验证 1. 使用事件总线发布消息功能，发送一个自定义事件。 2. 您可以在分布式消息服务RocketMQ控制台确认是否接收到事件。 1. 登录分布式消息服务RocketMQ控制台，然后在左侧导航栏选择实例列表。 2. 在实例列表页面单击目标实例名称。 3. 在消息查询页面，按时间查询即可查看消息内容，如图2所示。 图2 在分布式消息服务RocketMQ管理控制台中查看消息详情

场景描述 在RocketMQ中，消费组（Consumer Group）是一种逻辑上的概念，用于标识一组消费者（Consumer）的集合，这些消费者共同消费同一个主题（Topic）的消息。 消费组的概念允许多个消费者同时消费同一个主题的消息，从而实现消息的负载均衡和高可用性。当一个消息发送到RocketMQ中的某个主题时，RocketMQ会将该消息推送给订阅了该Topic的所有消费组中的消费者。 每个消费组可以包含一个或多个消费者，这些消费者可以在同一个应用程序中或不同的应用程序中运行。消费者可以以集群模式（Cluster Mode）或广播模式（Broadcast Mode）进行消费。 在集群模式下，消费者以消费者组的形式协同工作，每个消息只会被消费组中的一个消费者消费。RocketMQ会根据消费者的负载均衡策略，将消息分发给不同的消费者，实现消息的负载均衡和高可用性。 在广播模式下，消费组中的每个消费者都会独立消费消息，每个消息会被消费组中的所有消费者都消费一次。广播模式适用于需要所有消费者都处理同一份消息的场景。 消费组的概念使得RocketMQ能够支持水平扩展和容错能力。通过增加消费者数量或部署多个消费者实例，可以提高消费能力和可用性。 需要注意的是，每个消费组在RocketMQ中必须具有唯一的名称，以便区分不同的消费组。同时，每个消费组可以订阅一个或多个Topic，以满足不同业务场景的需求。

保证数据安全和访问安全 多租户场景下，分开存放不同租户的数据，以保证数据安全；控制用户对租户资源的访问权限，以保证访问安全。 调度器增强 多租户根据调度器类型分为开源的Capacity调度器和自主研发的增强型Superior调度器。为满足企业需求，克服Yarn社区在调度上遇到的挑战与困难，自主研发的Superior调度器，不仅集合了当前Capacity调度器与Fair调度器的优点，还做了以下增强： 增强资源共享策略 Superior调度器支持队列层级，在同集群集成开源调度器的特性，并基于可配置策略进一步共享资源。针对实例，管理员可通过Superior调度器为队列同时配置绝对值或百分比的资源策略计划。Superior调度器的资源共享策略将YARN的标签调度增强为资源池特性，YARN集群中的节点可根据容量或业务类型不同，进行分组以使队列更有效地利用资源。 基于租户的资源预留策略 部分租户可能在某些时间中运行关键任务，租户所需的资源应保证可用。Superior调度器构建了支持资源预留策略的机制，在这些租户队列运行的任务可立即获取到预留资源，以保证计划的关键任务可正常执行。 租户和资源池的用户公平共享 Superior调度器提供了队列内用户间共享资源的配置能力。每个租户中可能存在不同权重的用户，高权重用户可能需要更多共享资源。

配置项 说明 队列名称 长度115个字符，仅支持数字、英文字母或下划线，必须以英文字母为首，不支持default及其大写变形。 计算节点规格 选择计算节点的规格。 镜像 选择计算节点的镜像。 注：该镜像为弹性高性能计算平台定制镜像，请优先保持集群同一镜像。 计算节点硬盘 选择计算规格所对应的磁盘。 根据需求选择计算节点的云硬盘类型和容量。 子网 1.选择子网，建议同一个队列保持子网一致。 2.普通子网可绑定云主机与弹性裸金属，标准裸金属子网仅限用于绑定标准裸金属，后台已根据您所选的规格为您自动过滤子网类型。 计算节点数量 选择该队列下的计算节点数量。

参数名称 描述 用户名 被授权的用户名称。 说明 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 权限设置 更新：当前用户可更新弹性资源池的描述信息。 资源管理：当前用户可在弹性资源池上添加队列、删除队列、操作队列的扩缩容策略配置。 删除：当前用户可删除此弹性资源池。 赋权：当前用户可将弹性资源池的操作权限赋予其他用户。 回收：当前用户可回收其他用户具备的该弹性资源池的权限，但不能回收该弹性资源池所有者的权限。 查看其他用户具备的权限：当前用户可查看其他用户具备的该弹性资源池的权限。

指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 异常（exception，MoquetteBroker调用的异常信息统计。） exceptionType 异常类型 异常类型 ENUM LAST 异常（exception，MoquetteBroker调用的异常信息统计。） causeType 异常类 发生异常的类 ENUM LAST 异常（exception，MoquetteBroker调用的异常信息统计。） count 次数 该异常的发生次数 INT SUM 异常（exception，MoquetteBroker调用的异常信息统计。） message 异常消息 该异常产生的异常消息 STRING LAST 异常（exception，MoquetteBroker调用的异常信息统计。） stackTrace 异常堆栈 该异常产生的堆栈信息 CLOB LAST MoquetteBroker版本（version，MoquetteBroker版本。） MoquetteBroker主题汇总（total，MoquetteBroker主题汇总信息统计。） version 版本 版本 STRING LAST MoquetteBroker版本（version，MoquetteBroker版本。） MoquetteBroker主题汇总（total，MoquetteBroker主题汇总信息统计。） msgSentCount 消息推送次数 总的消息推送次数 INT SUM MoquetteBroker版本（version，MoquetteBroker版本。） MoquetteBroker主题汇总（total，MoquetteBroker主题汇总信息统计。） bytesSent 消息推送字节数 总消息推送字节数 INT SUM MoquetteBroker版本（version，MoquetteBroker版本。） MoquetteBroker主题汇总（total，MoquetteBroker主题汇总信息统计。） msgReceivedCount 消息接收次数 总消息接收次数 INT SUM MoquetteBroker版本（version，MoquetteBroker版本。） MoquetteBroker主题汇总（total，MoquetteBroker主题汇总信息统计。） bytesReceived 消息接收字节数 总消息接收字节数 INT SUM MoquetteBroker主题维度监控（brokerTopic，MoquetteBroker主题维度监控。） topic 主题 主题 ENUM LAST MoquetteBroker主题维度监控（brokerTopic，MoquetteBroker主题维度监控。） subscribeCount 订阅数 订阅数 INT SUM MoquetteBroker主题维度监控（brokerTopic，MoquetteBroker主题维度监控。） msgSentCount 消息推送次数 消息推送次数 INT SUM MoquetteBroker主题维度监控（brokerTopic，MoquetteBroker主题维度监控。） bytesSent 消息推送字节数 消息推送字节数 INT SUM MoquetteBroker主题维度监控（brokerTopic，MoquetteBroker主题维度监控。） msgReceivedCount 消息接收次数 消息接收次数 INT SUM MoquetteBroker主题维度监控（brokerTopic，MoquetteBroker主题维度监控。） bytesReceived 消息接收字节数 消息接收字节数 INT SUM

本页介绍天翼云TeleDB数据库消息订阅。 消息订阅可以对不同类型的消息进行订阅，选择需要的消息类型，保存后，订阅类型的消息会在触发时进行推送。

本文介绍科研助手的应用类常见问题。 科研助手适用哪些场景？ HPC：适用于视频渲染、视频转码（视频格式转换、视频分辨率变化、添加水印/logo的）、科研教育等领域。 科学计算：适用于仿真模拟、化学分子计算、流体计算等。 生物分析：适用于基因测序、药物检测等领域。 科研助手的核心功能有哪些？ 多资源池管理： 底层资源池ECK专有资源、Serverless共享容器资源池、ECX虚拟机资源池满足不同价格区间的业务需求。 队列管理： 提供对作业队列管理，支持CPU/GPU作业和队列管理。 开发环境： 以云原生的资源使用和开发工具链的集成，为不同类型开发、探索、教学用户，提供更好云化开发体验。

场景说明 RocketMQ提供了两种连接： 生产者连接：生产者通过调用RocketMQ提供的API，与RocketMQ代理（Broker）建立连接。生产者连接主要用于发送消息到RocketMQ。 消费者连接：消费者通过调用RocketMQ提供的API，与RocketMQ代理（Broker）建立连接。消费者连接主要用于从RocketMQ订阅消息并进行消费。 RocketMQ采用基于TCP/IP的通信协议，使用长连接方式进行连接。在建立连接之前，需要配置正确的RocketMQ服务端地址和端口，并使用相应的身份验证信息（如AccessKey和SecretKey）进行认证。 建立连接后，RocketMQ客户端可以通过连接发送消息到RocketMQ集群，并从集群中接收消息进行消费。连接的建立和维护是RocketMQ消息传递的基础，确保了消息的可靠传递和高效处理。 操作步骤 首先需要在RocketMQ控制台实例详情记录下集群的接入点信息，目前默认支持Namesrv的内网访问，将该地址作为客户端程序Namesrv地址的参数，具体生产消费消息的客户端示例代码请参考快速入门生产消费验证。 1、 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2、 登录分布式消息服务RocketMQ控制台，点击右上角地域选择对应资源池。 3、 进入实例列表，点击【管理】按钮进入管理菜单。 4、 进入主题管理菜单，点击【拨测】按钮，进行生产消费的拨测验证，验证开通的消息实例和主题。 5、 用户应用按照规范接入RocketMQ，发送、消费消息。

功能说明 当实例磁盘使用率达到指定阈值后，可选择磁盘自动扩容或动态消息保留策略来调整磁盘空间。 磁盘自动扩容 当磁盘使用率达到指定阈值后，系统会自动根据扩容策略增加磁盘容量，避免出现实例因磁盘容量不足产生的故障。 动态消息保留策略 当磁盘使用率达到指定阈值后，系统会自动根据消息保留策略删除一定比例的主题最早消息数据，释放磁盘空间。 约束与变更影响 动态消息保留策略和磁盘自动扩容同时最多只能开启一个。 磁盘自动扩容不会影响业务，如果短时间内磁盘使用量迅速增加，无法保证在耗尽磁盘空间前完成磁盘自动扩容。建议提前做好容量规划，先根据磁盘使用量做好扩容，再开启磁盘自动扩容。 动态消息保留策略触发后会删除最早的主题消息，可能导致消费者未及时消费的消息被删除，且调整效果存在一定延迟。建议及时消费数据，减少数据堆积。 触发动态消息保留策略后，主题的保留时长参数会被按比例减小且不会自动恢复，如后续需要调整请到主题管理页面进行操作。 前提条件 实例磁盘字段扩容会产生相应的费用，请确保账户余额充足。

配置资源 配置队列及任务优先级，如果还未创建队列，请参考“创建队列”相关的文档，创建完成之后点击 “创建队列” 旁边的刷新按钮再进行队列选择。 按需配置CPU、内存、GPU、NPU资源。 其他配置 root用户启动：如果关闭了 “工作空间目录配置” 选项可以选择将root用户启动关闭，将使用非root用户启动容器。 模型分析：打开模型分析时，会在创建开发机时自动创建TensorBoard服务，模型分析配置会自动关联前面数据集配置中已选择的私有数据集（仅支持配置私有数据集，公共数据集具有只读权限无法进行文件写入），可以选择不打开模型分析，后续再单独创建。 环境变量按需进行配置。 点击创建。 远程访问 查看开发机列表。 等待新建开发机的“访问”按钮可点击后，访问提示信息中的链接，先选择资源池信息，然后配置“弹性负载均衡>访问策略组”，修改isuitenotebookacl策略组的配置（默认只放开了127.0.0.1地址），需要增加本地客户端的出口IP配置。 获取本机出口IP的方式可通过百度搜索“ip地址”进行查询。 配置完成后回到“智算套件>AI应用开发”控制台，点击对应开发机的“访问”按钮即可访问该开发机，工作空间会显示持久化存储中保存的文件等。

配置资源 配置队列及任务优先级，如果还未创建队列，请参考“创建队列”相关的文档，创建完成之后点击 “创建队列” 旁边的刷新按钮再进行队列选择。 按需配置CPU、内存、GPU、NPU资源。 其他配置 root用户启动：如果关闭了 “工作空间目录配置” 选项可以选择将root用户启动关闭，将使用非root用户启动容器。 模型分析：打开模型分析时，会在创建开发机时自动创建TensorBoard服务，模型分析配置会自动关联前面数据集配置中已选择的私有数据集（仅支持配置私有数据集，公共数据集具有只读权限无法进行文件写入），可以选择不打开模型分析，后续再单独创建。 环境变量按需进行配置。 点击创建。 远程访问 查看开发机列表 等待新建开发机的“访问”按钮可点击后，访问提示信息中的链接，先选择资源池信息，然后配置“弹性负载均衡>访问策略组”，修改isuitenotebookacl策略组的配置（默认只放开了127.0.0.1地址），需要增加本地客户端的出口IP配置。 获取本机出口IP的方式可通过百度搜索“ip地址”进行查询。 配置完成后回到“智算套件>AI应用开发”控制台，点击对应开发机的 “访问” 按钮即可访问该开发机，工作空间会显示持久化存储中保存的文件等。

开发机资源配置 配置队列及任务优先级，如果还未创建队列，请参考“创建队列”相关的文档，创建完成之后点击 “创建队列” 旁边的刷新按钮再进行队列选择。 按需配置CPU、内存、GPU、NPU资源。 其他配置 root用户启动：如果关闭了 “工作空间目录配置” 选项可以选择将root用户启动关闭，将使用非root用户启动容器。 模型分析：打开模型分析时，会在创建开发机时自动创建TensorBoard服务，模型分析配置会自动关联前面数据集配置中已选择的私有数据集（仅支持配置私有数据集，公共数据集具有只读权限无法进行文件写入），可以选择不打开模型分析，后续再单独创建。 环境变量按需进行配置。 点击创建。 开发机远程访问 查看开发机列表 等待新建开发机的“访问”按钮可点击后，访问提示信息中的链接，先选择资源池信息，然后配置“弹性负载均衡>访问策略组”，修改isuitenotebookacl策略组的配置（默认只放开了127.0.0.1地址），需要增加本地客户端的出口IP配置。 获取本机出口IP的方式可通过百度搜索“ip地址”进行查询。 配置完成后回到“智算套件>AI应用开发”控制台，点击对应开发机的 “访问” 按钮即可访问该开发机，工作空间会显示持久化存储中保存的文件等。

本章节介绍网关扩容功能 概述 节点扩容可以满足业务规模增长的需求；云原生网关目前支持高可用版的节点扩容，基础版不支持扩容能力；扩容的大概过程如图所示，集群扩容后，将更新ELB与网关实例的绑定关系，在此过程中，通过ELB作负载均衡来实现无损节点扩容。 操作步骤 1. 进入微服务引擎MSE控制台； 2. 在顶部菜单栏选择资源池； 3. 单击左侧导航栏云原生网关 > 网关列表 ； 4. 选择需要扩容 的实例 ，点击扩容，跳转扩容订单页； 实例信息部分展示变更前实例原有的基本信息 实例扩容部分为变更后的总节点数 5. 在实例扩容栏目， 选择新节点数 ，提交订单，完成付款； 新节点表示实例扩容完成后集群具有的总节点数 6. 返回微服务引擎MSE控制台，单击左侧导航栏云原生网关 > 网关列表 ； 7. 查看实例当前状态（扩容中） ，此时实例不可进行路由等资源的配置，但不影响已有路由转发； 8. 扩容完成后， 实例状态恢复为正常 ，实例可以正常访问； 9. 查看实例基本信息，实例节点数、连接信息都已经更新完成；

本节主要介绍分布式消息服务Kafka的创建Topic说明 背景信息 Kafka的主题（Topic）是对消息进行分类和组织的概念。主题是Kafka中最基本的逻辑单元，用于区分不同类型的消息。 每个主题可以有多个分区（Partition），每个分区都是一个有序的消息日志。分区允许消息在集群中进行并行处理，提高了吞吐量和并发性能。 主题的特点包括： 逻辑分类：主题可以根据业务需求或数据类型进行逻辑分类，例如订单主题、日志主题、用户行为主题等。 多分区：主题可以被分成多个分区，每个分区都有自己的消息顺序。分区可以在不同的节点上进行存储和处理，实现了水平扩展和负载均衡。 副本复制：每个分区可以有多个副本（Replica），副本用于提供高可用性和容错性。副本可以分布在不同的节点上，当节点故障时可以自动进行故障转移。 持久化存储：主题中的消息被持久化存储在磁盘上，确保消息的可靠性和持久性。消费者可以随时消费主题中的历史消息，而不仅仅是最新的消息。 通过使用主题，Kafka能够有效地组织和管理大规模的消息流。主题的分区和副本机制提供了高可用性和容错性，使得Kafka成为处理大规模实时数据流的理想选择。 前提条件 已购买并部署分布式消息服务Kafka 操作步骤 创建Topic （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“Topic管理”后、点击“创建Topic”。 （5）点击“创建Topic”后，输入Topic名称、分区数等参数。 （6）创建好Topic后，可以点击“更多”按钮中的“生产消息”来测试其是否正常。

应用管理列表展示当前租户当前资源池下已接入（有过数据上报）的所有应用 概述 应用管理列表展示当前租户当前资源池下已接入（有过数据上报）的所有应用。 1. 登录微服务云应用控制台，左侧菜单栏选择“应用监控 > 应用管理”，进入列表查看数据。 显示基础的应用实例名称、语言信息、项目名称。 显示每秒请求数、错误率、平均响应时间、响应时间趋势图等关键指标信息。 支持根据应用名称搜索。 支持筛选时间段。 支持操作查看详情，点击应用实例名称，进入对应的应用详情页，详见应用性能监控>应用列表。

操作步骤 1.登录天翼云官网，进入管理中心。 2.进入消息中心 3.进入消息订阅，新增消息接收人。 4.进入消息订阅的消息管理，将新增的消息接收人配置到安全消息一行中。

介绍分布式消息服务Kafka按位点查询的功能操作内容。 场景描述 Kafka按位点查询是指通过指定偏移量或时间戳来查询Kafka主题中的消息。以下是一些常见的按位点查询的场景描述： 数据回溯：当需要回溯到过去的某个时间点或特定的消息偏移量时，可以使用按位点查询功能。这在故障排查、数据分析和报告生成等场景中非常有用，可以准确地获取特定时间点或消息的数据。 数据恢复：在某些情况下，如果由于意外情况导致数据丢失或损坏，可以使用按位点查询来恢复丢失的数据。通过指定偏移量或时间戳，可以定位到丢失数据之前的位置，然后将数据重新消费或导出。 数据验证：按位点查询还可以用于数据验证和一致性检查。通过指定特定的偏移量或时间戳，可以比较不同主题或分区之间的消息，以确保数据的一致性和正确性。 数据分析：按位点查询对于数据分析和统计也非常有用。通过指定特定的时间戳或偏移量范围，可以获取所需的数据子集，并对其进行进一步的分析和处理。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消息查询”后默认就是按位点查询。 （5）下拉选择topic可以切换要查询的topic，填写offset消息位置，partition分区编号，可查询该分区offset位置开始的10条消息。 （6）点击消息列表的“消息详情”可查看消息详情信息

介绍APM监控详情里消息监控中的RabbitMqProducer相关指标的名称、含义等信息。 RabbitMqProducer监控指标说明表 指标类别 指标 指标说明 数据类型 异常 exceptionstacktrace 异常产生的堆栈信息 String 异常 exceptioncount 错误数 Int Exchange监控 messagedestination Exchange名 Enum Exchange监控 messageerrorcount 推送消息的错误次数 Int Exchange监控 messagecount 推送消息数 Int Exchange监控 messagetotalpayload 推送字节数 Int Exchange监控 Max(messagetotalpayload) 单次推送最大字节数 Int Exchange监控 messagemaxcost 推送消息的最大响应时间 Int Exchange监控 sum(messagecost) 推送消息的总响应时间 Int Total监控 messagetotalpayload 推送字节数 Int Total监控 messagecount 推送消息数 Int Total监控 messageerrorcount 推送消息的错误次数 Int Total监控 messagemaxcost 推送消息的最大响应时间 Int Total监控 sum(messagecost) 推送消息的总响应时间 Int Total监控 ms0To10Count 010ms次数 Int Total监控 ms10To100Count 10100ms次数 Int Total监控 ms100To500Count 100500ms次数 Int Total监控 ms500To1000Count 5001000ms次数 Int Total监控 ms1000To10000Count 110s次数 Int Total监控 msMorethan10000Count 10s以上次数 Int

方案一：先迁生产，再迁消费 指先将生产消息的业务迁移到新的Kafka，原Kafka不会有新的消息生产。待原有Kafka实例的消息全部消费完成后，再将消费消息业务迁移到新的Kafka，开始消费新Kafka实例的消息。 1、将生产客户端的Kafka连接地址修改为新Kafka实例的连接地址。 2、重启生产业务，使得生产者将新的消息发送到新Kafka实例中。 3、观察各消费组在原Kafka的消费进度，直到原Kafka中数据都已经被消费完毕。 4、将消费客户端的Kafka连接地址修改为新Kafka实例的连接地址。 5、重启消费业务，使得消费者从新Kafka实例中消费消息。 6、观察消费者是否能正常从新Kafka实例中获取数据。 7、迁移结束。 本方案为业界通用的迁移方案，操作步骤简单，迁移过程由业务侧自主控制，整个过程中消息不会存在乱序问题， 适用于对消息顺序有要求的场景 。但是该方案中需要等待消费者业务直至消费完毕，存在一个时间差的问题，部分数据可能存在较大的端到端时延。 方案二：同时消费，后迁生产 指消费者业务启用多个消费客户端，分别向原Kafka和新Kafka实例消费消息，然后将生产业务切到新Kafka实例，这样能确保所有消息都被及时消费。 1、启动新的消费客户端，配置Kafka连接地址为新Kafka实例的连接地址，消费新Kafka实例中的数据。 说明 原有消费客户端需继续运行，消费业务同时消费原Kafka与新Kafka实例的消息。 2、修改生产客户端，Kafka连接地址改为新Kafka实例的连接地址。 3、重启生产客户端，将生产业务迁移到新Kafka实例中。 4、生产业务迁移后，观察连接新Kafka实例的消费业务是否正常。 5、等待原Kafka中数据消费完毕，关闭原有消费业务客户端。 6、迁移结束。 迁移过程由业务自主控制。本方案中消费业务会在一段时间内同时消费原Kafka和新Kafka实例。由于在迁移生产业务之前，已经有消费业务运行在新Kafka实例上，因此不会存在端到端时延的问题。但在迁移生产的开始阶段，同时消费原Kafka与新Kafka实例，会导致部分消息之间的生产顺序无法保证，存在消息乱序的问题。此场景 适用于对端到端时延有要求，却对消息顺序不敏感的业务 。 FAQ：如何将持久化数据也一起迁移 如果需要将原Kafka的已消费数据也迁移到Kafka专享实例，可以使用开源工具MirrorMaker，模拟成原Kafka的消费客户端，以及新Kafka实例的生产客户端，将Kafka所有消息数据迁移到新的Kafka实例。 需要注意的是，天翼云Kafka实例为3副本存储，因此建议实例存储空间为原业务的单副本消息存储的3倍。

本章节主要介绍使用TPCH样例模板开发并提交Spark SQL作业。 为了便捷快速的执行SQL操作，DLI支持定制模板或将正在使用的SQL语句保存为模板。保存模板后，不需编写SQL语句，可通过模板直接执行SQL操作。 当前系统提供了多条标准的TPCH查询语句模板，可以根据当前需求选择使用。本样例演示通过一个TPCH样例模板开发并提交Spark SQL作业的基本流程： 操作步骤 1.登录DLI管理控制台。 2.在DLI管理控制台，选择“作业模板”>“SQL模板”>“样例模板”，在“tpchQuery”下找到“Q1价格摘要报告查询”样例模板，单击操作列的“执行”进入“SQL编辑器”。 3.在“SQL编辑器”页面右侧的编辑窗口上方，“执行引擎”选择“spark”，“队列”选择“default”，“数据库”选择“default”，单击“执行”。 4.SQL作业编辑窗口下方“查看结果”页签查看查询结果。 本示例使用系统预置的“default”队列和数据库进行演示，也可以在自建的队列和数据库下执行。 创建队列请参考《数据湖探索用户指南》>《创建队列》。创建数据库请参考《数据湖探索用户指南》下的“数据管理 > 库表管理 > 创建数据库和表”。

MRS的Storm集群提交任务时如何指定日志路径？ 客户可以根据自己的需求，修改MRS的流式Core节点上的/opt/Bigdata/MRSXXX /1XX Supervisor/etc/worker.xml文件，将标签filename的值设定为客户需要的路径，然后在Manager页面重启对应实例。 建议客户尽量不要修改MRS默认的日志配置，可能会造成日志系统异常。 如何检查Yarn的ResourceManager配置是否正常？ 本案例适用于MRS 3.x之前版本。 登录MRS Manager页面，选择“服务管理 > Yarn > 实例”。 1.分别单击两个ResourceManager名称，选择“更多 > 同步配置”，并选择不勾选“重启配置过期的服务或实例。”。 2.单击“是”进行配置同步。 3.以root用户分别登录Master节点。 4.执行 cd /opt/Bigdata/MRSCurrent/ ResourceManager/etcUPDATED/ 命令进入etcUPDATED目录。 5.执行grep '.queues' capacityscheduler.xml A2找到配置的所有队列，并检查队列和Manager页面上看到的队列是否一一对应。 rootdefault在Manager页面隐藏，在页面看不到属于正常现象。 6.执行grep '.capacity' capacityscheduler.xml A2找出各队列配置的值，检查每个队列配置的值是否和Manager上看到的一致。并检查所有队列配置的值的总和是否是100。 是，则说明配置正常。 否，则说明配置异常，请执行后续步骤修复。 7.登录MRS Manager页面，选择“主机管理”。 8.查找主Master节点，主机名称前带实心五角星的Master节点即为主Master节点。 9.以root用户登录主Master节点。 10.执行su omm切换到omm用户。 11.执行sh /opt/Bigdata/om0.0.1/sbin/restartcontroller.sh重启Controller。 请在Manager页面没有其他操作后重启Controller，重启Controller对大数据组件业务无影响。 12.重新执行步骤1~步骤7同步ResourceManager的配置并检查配置是否正常。 配置同步完成后Manager页面可能显示配置过期，该显示不影响业务，是由于组件没有加载最新的配置，待后续组件重启的时会自动加载。

本文主要介绍监控告警问题。 云监控无法展示Kafka监控数据 Topic监控数据无法展示，可能原因如下： Topic名称开头包含特殊字符，例如下划线“”、号“”。 Kafka实例中没有创建Topic。 解决方法如下： 删除带特殊字符的Topic。 创建Topic。 消费组监控数据无法展示，可能原因如下： 消费组名称开头包含特殊字符，例如下划线“”、号“”。 此消费组从未有消费者连接。 Kafka监控显示消息堆积数跟实例里的消息数不一致？ 问题现象 ：监控显示消息堆积数为8.1亿+，Kafka控制台显示实例中6个Topic的消息数总和为1亿+，两者不一致。 问题结论 ：两者统计方式不同，Kafka控制台显示的消息数为实例中未消费的消息个数，而监控显示的消息堆积数Topic中的消息积压数消费组数。 Kafka的消费组删除了，怎么监控页面还可以看到这个消费组？ 监控数据是每分钟进行采集上报，上报的数据经过整理后才会显示在监控页面上，此过程大约需要几分钟到十几分钟，建议您在删除消费组后，过一段时间再去监控页面查看。

实施步骤 （1）购买一台弹性云主机，确保弹性云主机与源集群、目标集群网络互通。 （2）登录弹性云主机，安装Java JDK，并配置JAVAHOME与PATH环境变量。其中“/usr/local/java/jdk1.8.0161”为JDK的安装路径，请根据实际情况修改。 exportJAVAHOME/usr/local/java/jdk1.8.0161 exportPATH$JAVAHOME/bin:$PATH （3）下载安装kafka 下载页面： （4）进入kafka安装目录，修改“config/connectmirrormaker.properties”配置文件，在配置文件中指定源集群和目标集群的IP地址和端口以及其他配置。 （5）在kafka安装目录下，启动MirrorMaker，进行数据同步。 ./bin/connectmirrormaker.sh config/connectmirrormaker.properties 验证数据是否同步 要验证MirrorMaker是否成功同步数据，可以采取以下几种方法： 1. 检查目标集群的主题和分区： 在目标集群上使用Kafka命令行工具或管理工具，查看MirrorMaker复制的主题和分区是否存在。确保目标集群上有与源集群相同的主题和分区。 2. 检查消息偏移量： 使用Kafka消费者API或命令行工具，从目标集群中消费复制的消息。验证消息的偏移量是否与源集群中的消息偏移量一致。如果偏移量相同，表示数据同步成功。 3. 检查消息内容： 从目标集群中消费复制的消息，并与源集群中的消息进行比较。验证消息内容是否一致。可以使用Kafka消费者API或命令行工具来消费消息，并进行比较。 4. 监控MirrorMaker的指标： 在MirrorMaker节点上启用监控，收集关于复制进度、延迟和吞吐量等指标的数据。通过监控指标，可以了解MirrorMaker的工作状态和性能表现，进一步验证数据同步的情况。 5. 进行端到端测试： 在源集群中发送一些测试消息，并在目标集群中验证这些消息是否被成功复制。可以使用Kafka生产者API或命令行工具发送测试消息，并使用Kafka消费者API或命令行工具从目标集群中消费并验证消息。 通过以上方法，可以验证MirrorMaker是否成功同步数据，并确保数据在源集群和目标集群之间的一致性。根据实际需求，可以选择适合的验证方法或组合多种方法来进行验证。

本文将从准备事项、操作步骤等方面为您介绍如何利用弹性云主机搭建微信公众号后台。 本实践将基于天翼云弹性云主机搭建微信公众号处理后台，使用Python语言编写对应的微信消息处理逻辑代码，接收从微信服务端转发过来的消息，并返回处理结果给最终用户。 准备事项 申请微信公众号。 微信公众号申请链接：< 购买天翼云弹性云主机服务。 如果没有天翼云账号，需先注册天翼云账号并完成实名认证。 本实践中，使用公共镜像CentOS 7.4。 购买弹性IP。 建议同时购买弹性IP，后面需要在微信公众号上配置公网IP的地址。 操作步骤 基础软件安装 本实践中使用Python+Web.py组合完成微信公众号开发，需要安装或升级Python、pip、Web.py框架、WinSCP软件版本。 1. 升级默认Python版本； CentOS 7.4自带Python版本比较老，建议升级到Python3。 1. 查看Python版本，使用如下命令： plaintext python –version 2. 下载Python安装包，这里以Python 3.6.0版本为例，使用命令： plaintext wget 3. 解压安装包，使用如下命令： plaintext tar xvf Python3.6.0a1.tar.xz 如果出现“configure: error: no acceptable C compiler found in $PATH”异常提示，是因为未安装合适的编译器。 解决方法： 执行以下命令，安装/升级gcc及其他依赖的包。 plaintext sudo yum install gccc++ 并在随后提示安装包是否OK时，输入y并回车。出现如下图提示，说明依赖的包安装成功。 在编译器安装完成后，重新执行 ./configure 命令。 4. 执行命令： plaintext make && make install 执行成功。但提示pip错误，原因是我的系统中少了openssldevel包，可以先忽略。 5. 查看Python3版本，使用命令： plaintext python3 –version 6. 执行命令： plaintext python3 出现如下提示，则说明Python3安装成功。 2. 升级默认pip版本； pip是通用的Python包管理工具。提供了对Python包的查找、下载、安装、卸载功能。Python3安装成功后自带pip3，但版本比较老，建议升级到pip最新版本。同时前面安装python3提示“Ignoring ensurepip failure: pip 8.1.1 requires SSL/TLS”错误，导致pip未成功安装，所以需要重新安装pip。 1. 安装openssldevel包，使用命令： plaintext yum install openssldevel y 2. 执行命令： plaintext make && make install 出现如下提示说明pip安装成功。 3. 升级pip3，使用命令： plaintext pip3 install upgrade pip 出现如下提示说明升级pip到最新版本了。 3. 安装Web.py框架； Web.py官方教程地址：< plaintext pip3 install web.py0.40.dev0 4. 安装WinSCP； 通常情况下，我们在本地Windows操作系统上编辑代码，完成后再上传至ECS上（CentOS Linux系统）。WinSCP 是一个Windows环境下使用的SSH的开源图形化SFTP客户端, 同时支持 SCP 协议。它的主要功能是在本地与远程计算机间安全地复制文件，并且可以直接编辑文件。 WinSCP安装链接：<

参数名 描述 集群 显示上级父租户所在集群。 父租户资源 显示上级父租户的名称。 名称 指定当前租户的名称，长度为3~50个字符，可包含数字、字母或下划线（）。 根据业务需求规划子租户的名称，不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。 租户资源类型 指定租户是否是一个叶子租户： 选择“叶子租户资源”：当前租户为叶子租户，不支持添加子租户。 选择“非叶子租户资源”：当前租户为非叶子租户，支持添加子租户，但租户层级不能超过5层。 计算资源 为当前租户选择动态计算资源。 选择“Yarn”时，系统自动在Yarn中以子租户名称创建任务队列。 − 如果是叶子租户，叶子租户可直接提交到任务队列中。 − 如果是非叶子租户，非叶子租户不能直接将任务提交到队列中。 但是，Yarn会额外为非叶子租户增加一个任务队列（隐含），队列默认命名为“default”，用于统计当前租户剩余的资源容量，实际任务不会分配在此队列中运行。 不选择“Yarn”时，系统不会自动创建任务队列。 配置模式 计算资源参数配置模式。 选择“基础”时，只需配置“默认资源池容量 （%）”参数即可。 选择“高级”时，可手动配置资源分配权重，租户的最小/最大/预留资源。 默认资源池容量（%） 配置当前租户使用的计算资源百分比，基数为父租户的资源总量。 权重 资源分配权重，取值范围从0到100。 最小资源 保证租户资源能获得的资源（有抢占支持）。取值可以是父租户资源的百分比或绝对值。当租户资源作业量比较少时，资源会自动借给其他租户资源，当租户资源能使用的资源不满足最小资源时，可以通过抢占来要回之前借出的资源。 最大资源 租户资源最多能使用的资源，租户资源不能得到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。 预留资源 租户资源预留资源。即使租户资源内没有作业，预留的资源也不能给别的租户资源使用。取值可以是父租户资源的百分比或绝对值。 存储资源 为当前租户选择存储资源。 选择“HDFS”时，系统将自动在HDFS父租户目录中，以子租户名称创建文件夹。 不选择“HDFS”时，系统不会分配存储资源。 文件目录数上限 配置文件和目录数量配额。 存储空间配额 配置当前租户使用的HDFS存储空间配额。 当存储空间配额单位设置为MB时，范围为1～8796093022208，当“存储空间配额单位”设置为GB时，范围为1～8589934592。 此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。 如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。 如果此配额大于父租户的配额，实际存储量不超过父租户配额。 存储路径 配置租户在HDFS中的存储目录。 系统默认将自动在父租户目录中以子租户名称创建文件夹。例如子租户“ta1s”，父目录为“/tenant/ta1”，系统默认自动配置此参数值为“/tenant/ta1/ta1s”，最终子租户的存储目录为“/tenant/ta1/ta1s”。 支持在父目录中自定义存储路径。 服务 是否需要关联使用其他服务的资源，参见步骤4。 描述 配置当前租户的描述信息

本章节介绍云原生工具箱相关功能 概述 云原生工具箱是微服务应用平台研发团队针对云原生应用架构提供的研发提效工具，提高在开发、测试、调试和诊断等阶段的开发效率。 审计终端 前提条件 1. 云容器引擎安装云原生工具箱插件成功 2. 云原生工具箱已经安装并绑定了公网elb 操作步骤 1. 登录微服务云应用控制台，选择“应用运维 > 容器应用实例>应用发布>应用实例” 2. 在容器应用实例列表界面，选择指定的目标应用实例，点击进入“应用总览” 3. 左侧菜单栏切换到“云原生工具箱”，点击“进入云原生工具箱” 4. 在云原生工具箱的操作页面，先打开终端窗口，然后执行ls rht;pwd等linux命令 5. 然后点击审计日志的跳转入口，进入到pod审计日志的页面。查看列表中是否显示用户操作的命令行信息 6. 点击审计日志列表中的预览和文件下载，并查看下载后的文件是否能够正常打开 文件管理