方案概述 Kafka将Topic划分为多个分区，消息被存储在不同的分区中。在同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积，从而会造成消息消费延迟。 导致消息堆积的常见原因如下： 生产者短时间内生产大量消息到Topic，消费者无法及时消费。 消费者的消费能力不足（消费者并发低、消息处理时间长），导致消费效率低于生产效率。 消费者异常（如消费者故障、消费者网络异常等）导致无法消费消息。 Topic分区设置不合理（leader副本都集中在部分Broker中、分区数太少），或新增分区无消费者消费。 Topic频繁重平衡导致性能下降，消费效率降低。 实施步骤 从消息堆积的原因看，消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 消费者端 根据实际业务需求，合理增加消费者个数（消费并发度），建议消费者数量和分区数保持一致。 提高消费者的消费速度，通过优化消费者处理逻辑（减少复杂计算、第三方接口调用和读库操作），减少消费时间。 增加消费者每次拉取消息的数量：拉取数据/处理时间 > 生产速度。 生产者端 生产消息时，给消息Key加随机后缀，使消息均衡分布到不同分区上。（在实际业务场景中，为消息Key加随机后缀，会导致消息全局不保序，需根据实际业务判断是否适合给消息Key加随机后缀。） 服务端 合理设置Topic的分区数，在不影响业务处理效率的情况下，调大Topic的分区数量。 当服务端出现消息堆积时，对生产者进行熔断，或将生产者的消息转发到其他Topic。

消息模板是告警通知消息的固定格式，系统发送告警通知消息必须使用消息模板向订阅者发送。默认内置消息模板分别为关键词模板、keywordstemplate、sql模板和sqltemplate。不同协议的订阅者优先选择模板名称对应的协议模板，如果对应的协议模板不存在，则采用内置的消息模板。使用消息模板发送告警通知消息时，系统会自动将模板变量替换为告警规则中的内容。 创建消息模板 1. 在云日志服务管理控制台，单击“告警”，进入告警页面，选择“消息模板”。 说明 消息模板默认有以下内置模板，当您所选择的消息模板中未配置消息内容时，云日志服务默认使用内置模板。 1. 关键词模板：关键词告警模板 2. keywordstemplate：关键词告警英文模板 3. sql模板：sql告警模板 4. sqltemplate：sql告警英文模板 2. 单击“创建”，在界面右侧弹出的“创建消息模板”页面中，配置消息模板的相关参数。 表 1 配置消息模板参数 参数名称 说明 校验规则 样例 模板名称 消息模板的名称 输入内容只能是数字、字母、下划线、汉字、中划线，且不能以下划线、中划线等特殊符号开头和结尾。长度不能超过100个字符。 LTStest 模板描述 对消息模板的描述 输入内容只能是数字、字母、下划线、汉字，且不能以下划线等特殊符号开头和结尾。长度不能超过1024个字符。 消息头语言 系统在发送消息时会默认添加消息头 中文（简体）英文 中文：“尊敬的用户...” 英文：“Dear User...” 通知方式 消息的通知方式类型 邮件、HTTP/HTTPS 主题 消息的主题 支持自定义主题名称和使用变量命名主题两种方式。主题名称长度不能超过512个字符。仅邮件类型支持配置消息主题。 test 正文 消息的内 添加变量： 规则原始名称：${eventname} 告警级别：${eventseverity} 发生时间：${startsat} 发生区域：${regionname} 账号：${domainname} 告警源：$event.metadata.resourceprovider 资源类型：$event.metadata.resourcetype 资源标识：${resources} 告警状态：$event.annotations.alarmstatus 表达式：$event.annotations.conditionexpression 当前值：$event.annotations.currentvalue 统计周期：${frequency} 规则名称：${eventname} 关键词告警支持的变量 1. 查询时间：$event.annotations.results[0].time 2. 查询日志：$event.annotations.results[0].rawresults 3. 查询URL：$event.annotations.results[0].url 4. 日志组/日志流名称：$event.annotations.results[0].resourceids 注：只支持添加首次创建的日志组/日志流原始名称，不支持添加修改后的日志组/日志流名称。 5. 查询自定义字段 $event.annotations.results[0].fields.xxx 注：xxx表示原始日志的结构化字段和内置字段（hostIP、hostName等）。 SQL告警支持的变量 1. 图表0的日志组/流名称：$event.annotations.results[0].resourceid 注：只支持添加首次创建的日志组/日志流原始名称，不支持添加修改后的日志组/日志流名称。 2. 图表0的查询语句：$event.annotations.results[0].sql 3. 图表0的查询时间：$event.annotations.results[0].time 4. 图表0的查询URL：$event.annotations.results[0].url 5. 图表0的查询日志：$event.annotations.results[0].rawresults 复制模板 ： keywordstemplate sqltemplate sql模板 关键词模板 自定义模板（用户通过添加变量创建的消息模板） ${eventname} ${eventseverity} ${startsat} ${regionname} 用户自定义创建消息模板 复制模板创建消息模板 说明 1. 邮件内容支持html标签和消息预览。 2. 针对AOM和LTS，最多可以创建100（包含）条消息模板，如果消息模板数量已达上限100个时，请删除不需要的消息模板后重新创建。 3. 配置完成后，单击“确定”。

关闭Topic日志 1. 登录管理控制台。 2. 在管理控制台左上角单击，选择Kafka实例所在的区域。 3. 在管理控制台左上角单击，选择“应用服务 > 分布式消息服务Kafka”，进入Kafka总览页面。 4. 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。 5. 单击Kafka实例的名称，进入实例详情页面。 6. 在左侧导航栏选择“日志管理 > Topic日志”，进入“Topc日志”页面。 7. 在页面右上角单击“关闭日志”，弹出确认关闭对话框。 8. 单击“确定”，自动跳转到“后台任务管理”页面，“状态”为“成功”时，表示关闭Topic日志成功。 关闭Topic日志只是停止Topic日志上报功能，LTS控制台的日志组和日志流仍然保留，还会继续收费，如不需要保留该日志，可以在LTS控制台删除对应的日志组和日志流。

本节主要介绍分布式缓存服务Redis版的计费模式 目前天翼云分布式缓存服务Redis版提供包周期（包年/包月）、按需2种计费模式供您灵活选择，使用越久越便宜。 包周期（包年/包月）：天翼云提供包月和包年的购买模式。这种购买方式相对于按需付费则能够提供更大的折扣，对于长期使用者，推荐该方式。包周期计费按照订单的购买周期来进行结算。 按需计费：这种购买方式比较灵活，可以即开即停，支持秒级计费。实例从“开通”开启计费到“删除”结束计费，按实际购买时长（精确到秒）计费。 下表列出两种模式的区别： 计费模式 包年/包月 按需计费 付费方式 预付费按照订单的购买周期结算。 后付费按照云服务器实际使用时长计费。 计费周期 按订单的购买周期计费。 按小时结算。 实例升级 支持扩容，工单施工完生效，但是施工过程中服务不可用；不支持缩容。 支持扩容，工单施工完生效，但是施工过程中服务不可用；不支持缩容。 更改计费模式 支持变更为按需资源。 支持变更为包周期资源。 变更规格 支持变更实例规格。 支持变更实例规格。 适用场景 适用于可预估资源使用周期的场景，价格比按需计费模式更优惠。对于长期使用者，推荐该方式。 适用于消息资源需求波动的场景，可以随时开通，随时删除。 包周期与按需计费方式之间可以进行转换，具体操作请参考包周期与按需互转。

参数名称 参数说明 取值样例 报告名称 默认的报告名称。 default monthly security report 报告类型 报告的统计周期类型名称，不可编辑。 安全月报 报告发送时间 报告自动发送时间。 报告接收方式 生成的安全报告接收方式。 消息中心：使用消息中心和其它安全服务共同使用“安全事件通知”的信息接收人。需登录控制台，在右上角信箱查看。 消息主题：为HSS单独创建的主题，设置告警通知接收人。可选择短信或邮件通知。 无需发送到邮箱：不发送报告至邮箱。 消息中心

以应用为维度,进行可视化拓扑展示。 功能入口 1. 选择目标资源池，并登录APM组件控制台。 2. 在左侧导航栏中选择「应用监控 」「应用列表」。 3. 在应用列表中选择您想查看的应用，点击「应用名称」打开新的应用详情链接。 4. 在左侧导航栏中选择「应用拓扑」查看相应信息。 功能说明 拓扑图是一种以图形化方式展示应用之间关系的图表，帮助开发人员或运维人员了解应用程序的整体结构和运行状况。 信息 拓扑图通常包括以下信息： 应用或服务的组成部分：例如数据库、缓存、消息队列、Web 服务器等，当前版本支持的插件见下表，暂未支持的插件会显示为unknown。 类别 支持的服务 其他基础服务 JavaMethod 其他基础服务 Netty 数据库 Mysql 数据库 ClickHouse 数据库 EsRestClient 数据库 MongoDb 缓存 Redis 缓存 Jedis 缓存 Lettuce 消息 KafkaConsumer 消息 KafkaProducer 消息 RabbitMqConsumer 消息 RabbitMqProducer Web容器 Tomcat 外部调用 HttpClient 组件之间的依赖关系：例如一个组件调用另一个组件的接口等，包含各项基础指标 指标名 说明 客户端 显示当前链路的客户端名称。 服务端 显示当前链路的服务端名称。 请求总量 显示当前链路在筛选时间段内的请求次数。 吞吐量 显示当前链路在筛选时间段内平均每分钟的请求量。 平均响应时间 显示当前链路在筛选时间段内所有请求的平均响应时间。 错误数 显示当前链路在筛选时间段内请求错误次数。 错误率 显示当前链路在筛选时间段内请求错误率，即：错误数/请求总量。 通过分析拓扑图，开发/运维人员可以快速定位应用中的问题，并进行及时的排查和修复。拓扑图还可以帮助开发/运维人员进行容量规划和性能优化，以提高应用程序或服务的性能和可靠性。

类型 收集方式 是否可以修改 是否必须 邮箱 服务器开启双因子认证后，HSS定时获取对应消息通知服务主题订阅的邮箱 否 是 手机号 服务器开启双因子认证后，HSS定时获取对应消息通知服务主题订阅的手机号 否 是 登录位置信息 服务器开启防护后，登录云服务器时，HSS记录的用户登录位置信息。 否 是

本章节主要介绍翼MapReduce与其他服务的关系。 与其他服务的关系 服务名称 MRS与其他服务的关系 主要交互功能 虚拟私有云（Virtual Private Cloud） MRS集群创建在虚拟私有云（VPC）的子网内，VPC通过逻辑方式进行网络隔离，为用户的MRS集群提供安全、隔离的网络环境。 创建虚拟私有云和子网 对象存储服务（Object Storage Service） 对象存储服务（OBS）用于存储用户数据，包括MRS作业输入数据和作业输出数据： MRS作业输入数据：用户程序和数据文件 MRS作业输出数据：作业输出的结果文件和日志文件 MRS中HDFS、Hive、MapReduce、YARN、Spark、Flume和Loader支持从OBS导入、导出数据。MRS使用OBS的并行文件系统提供服务。 配置存算分离集群（委托方式）配置存算分离集群（AKSK方式）配置HDFS映射方式对接OBS文件系统 弹性云服务器（Elastic Cloud Server） MRS服务使用弹性云服务器（Elastic Cloud Server，简称ECS）作为集群的节点，每个弹性云服务器是集群中的一个节点。 准备运行环境创建集群 关系型数据库（Relational Database Service） 关系型数据库（RDS）用于存储MRS系统运行数据，包括MRS集群元数据和用户计费信息等。 配置数据连接 统一身份认证服务（Identity and Access Management） 统一身份认证服务（IAM）为MRS提供了鉴权功能。 创建用户并授权使用MRSMRS自定义策略IAM用户同步MRS 消息通知服务（SMN） MRS联合消息通知服务（SMN），采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式。 配置作业消息通知 云审计服务（Cloud Trace Service） 云审计服务（CTS）为用户提供MRS资源操作请求及请求结果的操作记录，供用户查询、审计和回溯使用。 见下表

本页面主要介绍弹性云主机对接的云审计服务使用和查看方法。 操作场景 本服务现已对接天翼云云审计服务，云审计服务提供对各种云资源操作的记录和查询功能，用于支撑合规审计、安全分析、操作追踪和问题定位等场景，同时提供事件跟踪功能，将操作日志转储至对象存储实现永久保存。 云审计可提供的功能服务具体如下： ● 记录审计日志：支持用户通过管理控制台或API接口发起的操作，以及各服务内部自触发的操作。 ● 审计日志查询：支持在管理控制台对7天内操作记录按照事件类型、事件来源、资源类型、筛选类型、操作用户和事件级别等多个维度进行组合查询。 使用限制 ● 云审计服务本身免费，包括时间记录以及7天内时间的存储和检索。 ● 用户通过云审计能查询到多久前的操作事件：7天。 ● 用户操作后多久可以通过云审计查询到数据：5分钟。 ● 其它限制请参考使用限制云审计。 操作步骤 1. 开通云审计服务。 参见开通云审计服务云审计。 2. 查看云审计事件。 参见查看审计事件云审计。 3. 在事件列表中，选择事件来源为“容器与中间件”，资源类型选择“分布式消息服务Kafka”，上方时间选择需要筛选的时间段。点击查询即可。 4. 在审计事件右侧点击详情，可以看到更详细的事件信息。 更多云审计相关使用说明和常见问题请参考用户指南、常见问题。

本章节介绍故障演练服务中应用资源管理功能。 概述 应用资源 是构成应用 的组件节点，例如云主机 、云容器引擎 、分布式缓存服务Redis版 、分布式消息服务Kafka等实例。应用需要先纳管资源，才能对其进行故障演练。 添加应用资源 1. 登录应用高可用服务控制台。 2. 在左侧导航栏中，定位到故障演练 菜单，选择要操作的目标应用 ，然后单击其下的应用资源 选项，进入应用资源管理页面。 3. 在页面上方的资源类型 页签中，选择希望添加的资源类型（如云主机），然后单击添加资源按钮。 4. 在弹出的对话框中，选择资源池等筛选条件 ，单击搜索，系统将列出符合条件的、当前用户有权访问的资源清单。 5. 从列表中勾选 一个或多个资源，然后单击确认完成添加。 6. 返回应用资源列表，可以看到新添加的资源对象。 注意 列表中显示的资源状态可能存在一定延迟，如需获取最实时的信息，以该资源对应的云产品控制台为准。 删除应用资源 1. 进入目标应用的应用资源管理页面。 2. 在应用资源 列表中，找到希望删除的资源对象，单击其对应的删除按钮。 3. 在弹出的确认对话框中完成删除操作。 4. 返回应用资源列表，确认该资源对象已被成功移除。 注意 若目标资源被演练任务引用，则无法直接删除；必须先解除所有关联任务对该资源的引用，才能进行删除操作。

参数名称 说明 示例 发送通知 配置是否发送邮件、短信、HTTP和HTTPS通知用户。此处推荐您开启发送通知，当监控指标触发设定的告警策略时，云监控服务会在第一时间通过消息通知服务实时告知您云上资源异常，以免因此造成业务损失。 开启发送通知 通知方式 根据需要可选择通知组或主题订阅两种方式。 通知组 需要发送告警通知的通知组。 通知对象 需要发送告警通知的对象，可选择云账号联系人或主题。 云账号联系人：注册账号时的手机和邮箱。 主题：消息发布或客户端订阅通知的特定事件类型，若此处没有需要的主题，需先创建主题并订阅该主题。 生效时间 该告警规则仅在生效时间内发送通知消息。如生效时间为00:008:00，则该告警规则仅在00:008:00发送通知消息。 触发条件 可以选择“出现告警”、“恢复正常”两种状态，作为触发告警通知的条件。

发生消费位点重置的两种情况 当服务端不存在曾经提交过的位点时（比如客户端第一次上线）； 当从非法位点拉取消息时（比如某个分区最大位点是10，但客户端却从11开始拉取消息）。 配置重置策略 Java 客户端可以通过auto.offset.reset来配置重置策略，主要策略有： latest：从最大位点开始消费； earliest：从最小位点开始消费； none：不做任何操作，也即不重置。 策略配置建议 强烈建议设置成“latest”，而不要设置成“earliest”，避免因位点非法时从头开始消费，从而造成大量重复 如果是客户自己管理位点，可以设置成”none”； 拉取大消息。 拉取消息注意事项 消费过程是由客户端主动去服务端拉取消息的，在拉取大消息时，需要注意控制拉取速度，注意修改配置。 max.poll.records：如果单条消息超过1MB，建议这里设置为1； fetch.max.bytes：设置比单条消息的大小略大一点； max.partition.fetch.bytes：设置比单条消息的大小略大一点。拉取大消息的核心是一条一条拉。

步骤二：数据迁移 本步骤中，您将对集群依赖服务的数据服务，例如镜像及云存储、云数据库、分布式缓存、分布式消息等，进行跨资源池迁移。 容器镜像跨资源池同步参考：同账号跨实例同步。 云数据库迁移，可使用 数据传输服务DTS。天翼云DTS是一种集数据迁移和数据实时同步于一体的数据传输服务。它支持关系型数据库、NoSQL数据库间的数据传输，致力于解决远距离、毫秒级异步数据传输难题。 其他云上数据迁移需求，请参考对应云产品提供的迁移服务及指引。 步骤三：目标集群创建与纳管 在这个阶段，您将评估目标集群所需规格信息并创建对应的天翼云CCE集群；然后将该目标集群关联到分布式容器云平台CCE One注册集群。 云容器引擎允许用户对集群资源进行个性化选取，以精准匹配其多样化的业务诉求。如下所示的表中，列举了集群的指标参数，并提供了参考规划选择；用户应依据自身业务的确切需求，对相关设置做出合理调配，其间，我们建议尽可能保持与原集群性能配置的一致性水平。 主要指标参数 指标参数说明 本示例规划 kubernetes版本 1.27.8 1.29.3 1.29.3 网络插件 cubecni：cubecni 是云容器引擎自研的网络插件，支持基于 Kubernetes 标准的网络策略来定义容器间的访问策略。 calico：使用社区 calico CNI 插件的IP模式。 cubecni apiserver访问 API Server的访问需要依赖ELB实例，您可根据需要选择合适的ELB规格，系统将根据该规格创建一个私网ELB实例。规格选择请见：[了解ELB实例规格](

服务名称 与其他服务的关系 主要交互功能 云审计服务 开通云审计服务后，云审计服务会记录AntiDDoS相关的操作事件，方便用户日后的查询、审计和回溯。 消息通知服务 消息通知服务（Simple Message Notification，简称SMN）提供消息通知功能。AntiDDoS开启告警通知后，如果IP地址受到DDoS攻击时用户会收到短信或邮件的提醒信息。 云日志服务 将攻击日志记录到云日志服务（Log Tank Service，简称LTS）中，通过LTS记录AntiDDoS日志，可以高效地进行实时决策分析、设备运维管理以及业务趋势分析。 云监控服务 云监控服务可以监控AntiDDoS相关的指标，用户可以通过指标及时了解防护状况，并通过这些指标设置防护策略。 统一身份认证服务 统一身份认证服务（Identity and Access Management，简称IAM）为AntiDDoS提供权限管理的功能，拥有对应权限的用户才能使用AntiDDoS服务。

启动服务 使用如下命令启动服务： python3 main.py 80 启动成功如下图所示： 、 启用开发者模式 1、登录微信公众平台，选择“开发 >基本配置”，单击“修改配置”。 2、填写配置信息，单击“提交”。 URL： Token：需要与handle.py中对应token取值完全一致。 EncodingAESKey：随机生成。 消息加解密方式：此为示例，选择简单的“明文模式”。 3、验证token成功，单击“启用”。 说明 如果token验证失败，请检查Token配置与handle.py中GET消息处理代码是否一致。 验证 使用微信关注公众号，任意发送一条文本消息，看是否能够收到回复。如能收到回复则表明系统处理正常。

本章节介绍消息灰度功能的使用 概述 在使用全链路灰度能力时，若涉及消息的灰度，可以开启消息灰度能力。 版本限制 框架 限制 详情 RocketMQ 4.5.0+ 当前只支持RocketMQ的灰度。 jdk版本 1.8+ 无。 开启消息灰度 1.登录微服务治理中心控制台。 2.在左侧导航栏选择 微服务治理中心 >应用治理。 3.在应用治理页面单击目标应用卡片。 4.在左侧导航栏选择流量治理 消息灰度，即可配置消息灰度规则。 消息灰度参数说明： 参数 说明 未打标环境忽略标签 未打标环境默认会消费所有环境的消息。若配置“未打标环境忽略标签”，则未打标环境会忽略配置的标签。 开启消息灰度开关 消息灰度生效开关。 消息灰度过滤侧 客户端过滤：在消费端MSE Agent过滤，会拉取所有的消息，建议提前评估消息量。 服务端过滤：在服务端通过SQL92方式过滤，需要RocketMQ服务端支持。

操作场景 天翼云分布式消息Kafka自集成了一整套监控方案，对Kafka实例的运行状态进行日常监控，可以通过管理控制台查看Kafka实例各项监控指标。 操作前提 已开通天翼云Kafka实例，且实例状态为“运行中” 实例有进行生产消费行为，实例中存在可消费的消息 Kafka 实例是天翼云Ⅱ类资源池实例，目前Ⅱ类资源池包括：华东1、上海36、华北2、长沙42、武汉41、西安7、杭州7、青岛20、西南1、西南2、广州4、郑州5、华南2等 操作步骤 1. 登录管理控制台。 2. 进入Kafka管理控制台。 3. 在实例列表页的操作列，目标实例行点击“管理”。 4. 点击“可观测”后，选择“监控信息”，默认展示实例监控，除此之外，监控信息还包括实例节点监控、Topic监控、消费组监控和Connect监控，Connect监控只有开启Kafka Connect才展示。

在服务开发、服务上线前,您需要创建一个环境,本章节介绍环境管理相关内容 概述 在服务开发、服务上线前，您需要创建一个环境。一个环境可以导入包括云容器引擎、ECS、注册配置中心、弹性负载均衡、云原生网关、关系数据库、分布式缓存、分布式消息等资源。 环境列表 左侧导航栏，选择环境管理，可以查看当前资源池下环境列表。通过上方选择环境类型可以筛选出对应类型的环境列表。也可输入环境名称，模糊匹配对应名称的环境。 环境创建 左侧导航栏，选择环境管理，在环境列表左上方点击创建环境按钮。 环境名称：输入合法环境名称。 环境编码：输入环境名称后自动带出，可手动进行修改。 环境类型：选择对应的环境类型。 资源池：选择资源池。 VPC：选择环境对应的VPC，没有VPC可点击创建虚拟私有云按钮进行创建。 可用区：选择当前环境对应的可用区，可多选。每个可用区下会自动创建一个部署单元，后续发布应用选择部署单元后，会匹配对应的可用区，将应用调度到对应可用区的节点。 企业项目：选择对应的企业项目。 输入以上信息后，点击保存按钮，会弹出授权微服务云应用平台创建VPCE的弹窗，VPCE为打通网络组件所需，需授权创建才能保证应用功能正常。 环境详情 左侧导航栏，选择环境管理，点击环境名称，进入到环境详情页面。在环境详情页面展示了VPC、可用区、应用实例数、资源数、资源列表、部署单元等信息。

本文主要 Kafka客户端参数配置建议。 Kafka客户端的配置参数很多，以下提供producer和consumer几个常用参数配置。其他参数配置，请参考Kafka配置。 表 Producer参数 参数 默认值 推荐值 说明 acks 1 高可靠：all或者1高吞吐：1 收到Server端确认信号个数，表示producer需要收到多少个这样的确认信号，算消息发送成功。 acks参数代表了数据备份的可用性。常用选项：acks0：表示producer不需要等待任何确认收到的信息，副本将立即加到socket buffer并认为已经发送。没有任何保障可以保证此种情况下server已经成功接收数据，同时重试配置不会发生作用（因为客户端不知道是否失败）回馈的offset会总是设置为1。 acks1：这意味着至少要等待leader已经成功将数据写入本地log，但是并没有等待所有follower是否成功写入。如果follower没有成功备份数据，而此时leader又无法提供服务，则消息会丢失。 acksall或者1：这意味着leader需要等待ISR中所有备份都成功写入日志。只要任何一个备份存活，数据都不会丢失。min.insync.replicas指定必须确认写入才能被认为成功的副本的最小数量。 retries 0 结合实际业务调整 客户端发送消息的重试次数。值大于0时，这些数据发送失败后，客户端会重新发送。 注意，这些重试与客户端接收到发送错误时的重试没有什么不同。允许重试将潜在的改变数据的顺序，如果这两个消息记录都是发送到同一个partition，则第一个消息失败第二个发送成功，则第二条消息会比第一条消息出现要早。针对网络闪断场景，生产者建议配置重试能力，推荐重试次数retries3，重试间隔retry.backoff.ms1000。 request.timeout.ms 30000 结合实际业务调整 设置一个请求最大等待时间，超过这个时间则会抛Timeout异常。超时时间如果设置大一些，如127000（127秒），高并发的场景中，能减少发送失败的情况。 block.on.buffer.full TRUE TRUE TRUE表示当我们内存用尽时，停止接收新消息记录或者抛出错误。默认情况下，这个设置为TRUE。 然而某些阻塞可能不值得期待，因此立即抛出错误更好。如果设置为false，则producer抛出一个异常错误：BufferExhaustedException batch.size 16384 262144 默认的批量处理消息字节数上限。producer将试图批处理消息记录，以减少请求次数。 这将改善client与server之间的性能。不会试图处理大于这个字节数的消息字节数。 发送到brokers的请求将包含多个批量处理，其中会包含对每个partition的一个请求。较小的批量处理数值比较少用，并且可能降低吞吐量（0则会仅用批量处理）。 较大的批量处理数值将会浪费更多内存空间，这样就需要分配特定批量处理数值的内存大小。 buffer.memory 33554432 67108864 producer可以用来缓存数据的内存大小。如果数据产生速度大于向broker发送的速度，producer会阻塞或者抛出异常，以“block.on.buffer.full”来表明。 这项设置将和producer能够使用的总内存相关，但并不是一个硬性的限制，因为不是producer使用的所有内存都是用于缓存。一些额外的内存会用于压缩（如果引入压缩机制），同样还有一些用于维护请求。 表 Consumer参数 参数 默认值 推荐值 说明 :::: auto.commit.enable TRUE FALSE 如果为真，consumer所fetch的消息的offset将会自动的同步到zookeeper。这项提交的offset将在进程无法提供服务时，由新的consumer使用。约束：设置为false后，需要先成功消费再提交，这样可以避免消息丢失。 auto.offset.reset latest earliest 没有初始化offset或者offset被删除时，可以设置以下值： earliest：自动复位offset为最早 latest：自动复位offset为最新 none：如果没有发现offset则向消费者抛出异常 anything else：向消费者抛出异常。 说明 如果将此配置设置为latest，新增分区时，生产者可能会在消费者重置初始偏移量之前开始向新增加的分区发送消息，从而导致部分消息丢失。 connections.max.idle.ms 600000 30000 空连接的超时时间，设置为30000可以在网络异常场景下减少请求卡顿的时间。

本章节主要介绍安全认证原理和认证机制。 功能 开启了 Kerberos认证的安全模式集群，进行应用开发时需要进行安全认证。 Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”，后来沿用作为安全认证的概念，使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。 结构 Kerberos的原理架构如下图所示，各模块的说明如下图所示。 原理架构 模块说明 模块 说明 Application Client 应用客户端，通常是需要提交任务（或者作业）的应用程序。 Application Server 应用服务端，通常是应用客户端需要访问的应用程序。 Kerberos 提供安全认证的服务。 KerberosAdmin 提供认证用户管理的进程。 KerberosServer 提供认证票据分发的进程。 步骤原理说明： 应用客户端（Application Client）可以是集群内某个服务，也可以是客户二次开发的一个应用程序，应用程序可以向应用服务提交任务或者作业。 1. 应用程序在提交任务或者作业前，需要向Kerberos服务申请TGT（TicketGranting Ticket），用于建立和Kerberos服务器的安全会话。 2. Kerberos服务在收到TGT请求后，会解析其中的参数来生成对应的TGT，使用客户端指定的用户名的密钥进行加密响应消息。 3. 应用客户端收到TGT响应消息后，解析获取TGT，此时，再由应用客户端（通常是rpc底层）向Kerberos服务获取应用服务端的ST（Server Ticket）。 4. Kerberos服务在收到ST请求后，校验其中的TGT合法后，生成对应的应用服务的ST，再使用应用服务密钥将响应消息进行加密处理。 5. 应用客户端收到ST响应消息后，将ST打包到发给应用服务的消息里面传输给对应的应用服务端（Application Server）。 6. 应用服务端收到请求后，使用本端应用服务对应的密钥解析其中的ST，并校验成功后，本次请求合法通过。

启动服务 使用如下命令启动服务： plaintext python3 main.py 80 启用开发者模式 1. 登录微信公众平台，选择“开发 > 基本配置”，单击“修改配置”。 2. 填写配置信息，单击“提交”。 URL： 80 端口。 Token：需要与handle.py中对应token取值完全一致。 EncodingAESKey：随机生成。 消息加解密方式：此为示例，选择简单的“明文模式”。 3. 验证token成功，单击“启用”。 说明 如果token验证失败，请检查Token配置与handle.py中GET消息处理代码是否一致。 验证 使用微信关注公众号，任意发送一条文本消息，看是否能够收到回复。如能收到回复则表明系统处理正常。

本章节主要介绍数据治理中心DataArts Studio与其他服务的关系。 统一身份认证服务 DataArts Studio使用统一身份认证服务（Identity and Access Management，简称IAM）实现认证和鉴权功能。 云审计服务 DataArts Studio使用云审计服务（Cloud Trace Service，简称CTS）审计用户在管理控制台页面的操作，可用于检视是否存在非法或越权操作，完善服务安全管理。 弹性云主机服务 DataArts Studio使用弹性云主机（Elastic Cloud Server，简称ECS）进行CDM集群和数据服务集群的创建，另外DataArts Studio可以通过主机连接在ECS上执行Shell或Python脚本。 虚拟私有云服务 DataArts Studio使用虚拟私有云服务（Virtual Private Cloud，简称VPC）的创建隔离的网络环境。 弹性公网IP服务 DataArts Studio使用弹性公网IP服务（Elastic IP，简称EIP）打通与公网间的网络通信。 对象存储服务 DataArts Studio使用对象存储服务（Object Storage Service，简称OBS）的桶存储日志信息。 消息通知服务 DataArts Studio使用消息通知服务（Simple Message Notification，简称SMN）依据用户的订阅需求主动推送通知消息，使用户可以在触发告警（如质量监控）时能立即接收到通知。 云专线服务 DataArts Studio使用云专线服务（Direct Connect，简称DC）打通与第三方数据中心的网络通信。 API网关服务 DataArts Studio通过API网关服务（API Gateway，简称APIG）对外开放各组件的API接口。 数据湖探索服务 DataArts Studio支持将数据湖探索服务（Data Lake Insight，简称DLI）作为数据湖底座，进行数据集成、开发、治理与开放。

本章节会介绍如何开启分布式事务 操作背景 分布式事务指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。简单的说，就是一次大的操作由不同的小操作组成，这些小的操作分布在不同的服务器上，且属于不同的应用，分布式事务需要保证这些小操作要么全部成功，要么全部失败。本质上来说，分布式事务就是为了保证不同数据库的数据一致性。 MSDTC服务提供分布式事务服务，如果要在数据库中使用分布式事务，必须在参与的双方服务器启动MSDTC（Distributed Transaction Coordinator）服务。RDS for SQL Server在开启分布式事务的时候已经启动MSDTC，其他服务器请参考设置远程服务器MSDTC（分布式事务处理协调器）进行启动。 更多介绍请参见Microsoft SQL Server官网MS DTC 分布式事务介绍) 。 使用限制 新实例默认开启分布式事务。 只读实例不支持分布式事务。 分布式事务功能一旦开启，将不允许关闭。 开启分布式事务会导致实例重启，请谨慎操作。 RDS for SQL Server数据库建立DBlink后，如果发生主备切换，DBlink不会自动同步到新的主实例，您需要在新的主实例重新建立DBlink。 开启分布式事务 步骤 1 登录管理控制台。 步骤 2 单击管理控制台右上角的，选择区域和项目。 步骤 3 选择“数据库 > 关系型数据库”。进入关系型数据库信息页面。 步骤 4 在“实例管理”页面，选择目标实例，单击实例名称，进入实例的“基本信息”页签。 步骤 5 在左侧导航栏单击“分布式事务”，在“分布式事务”页面单击“分布式事务状态”后的。

Kafka的消费者示例代码片段如下： 每个 Consumer Group 可以包含多个消费实例，即可以启动多个 Kafka Consumer，并把参数 group.id 设置成相同的值。属于同一个 Consumer Group 的消费实例会负载消费订阅的 Topic。 举例：Consumer Group A 订阅了 Topic A，并开启三个消费实例 C1、C2、C3，则发送到 Topic A 的每条消息最终只会传给 C1、C2、C3 的某一个。Kafka 默认会均匀地把消息传给各个消息实例，以做到消费负载均衡。 Kafka 负载消费的内部原理是，把订阅的 Topic 的分区，平均分配给各个消费实例。因此，消费实例的个数不要大于分区的数量，否则会有实例分配不到任何分区而处于空跑状态。这个负载均衡发生的时间，除了第一次启动上线之外，后续消费实例发生重启、增加、减少等变更时，都会触发一次负载均衡。 消息队列 Kafka 的每个 Topic 的分区数量默认是 16 个，已经足够满足大部分场景的需求，且云上服务会根据容量调整分区数。

本节主要介绍如何在智能视图服务控制台设置推送策略。 目前，平台仅支持短信方式推送告警信息。 AI消息推送的几大先决条件： 创建子用户须填入正确手机号，且已完成短信验证。 相关资源已配置AI应用且已启用成功以及有告警产生。 创建推送策略，且开启对应的推送策略。 选择推送策略菜单后，点击右侧控制台上方的【新建推送策略】按钮，如下图： 对创建推送策略窗口的相关参数进行解释： 参数名 解释说明 策略名 推送策略的名字，也是管理相关策略的索引。 描述 对当前策略进行备注。 推送方式 邮件推送、短信推送，目前仅支持短信推送。 推送时段 全天、时间段，客户根据自身的业务需要，选择特定时间段接收消息。 推送频率 系统预置半小时、1小时、2小时、4小时、8小时、24小时。 消息类型 设备消息、平台事件消息、AI消息。 子类型 设备消息：设备离线、流离线、录制失败。 平台事件消息：设备离线。 AI消息：展示AI应用的列表信息。 以上类型均支持单选、多选。 消息内容 邮件、短信接收到的文案信息。 生效资源 支持用户选择业务组、目录及独立设备，支持单选、多选。 推送对象 支持用户选择用户组或具体子用户，支持单选、多选。 创建用户组参见访问管理模块的【用户管理】。 配置AI应用后可以在AI分析结果查看AI告警图片，如下图：

分布式消息服务Kafka实例回收站可展示到期、已退订的实例，您可以在回收站对这些实例执行恢复、彻底销毁等操作。 说明 回收站功能目前为白名单特性，如需要使用该特性，请联系技术支持开通后使用。 注意事项 根据付费方式的不同，当实例到期或欠费后，各时间节点对应的影响有所不同。更多信息，请参见续费、到期与欠费。 一旦实例到达被彻底销毁的时间点或者执行销毁实例操作后，实例中的数据将被彻底销毁且无法找回。 操作步骤 1. 登录管理控制台。 2. 在管理控制台左上角选择实例所在的区域。 3. 在左侧菜单导航栏，单击【回收站】。 4. 在回收站的实例列表中，根据业务需求执行目标实例操作列中对应的操作： 操作 说明 恢复 跳转到恢复实例页面，用户续订后，完整恢复退订前所有数据，按所选续订时长从恢复时间起自动顺延实例到期时间。 销毁 彻底删除实例及其数据备份。 ⚠️注意：执行该操作后，实例的数据将被彻底删除且无法找回，请谨慎操作。

短信服务支持基于Restful的POST方式发送HTTP/HTTPS请求。请求参数需要包含在Body中，请求及返回结果都使用 UTF8 编码。 短信发送流程 1. 在控制台中添加签名、模板并经审核通过。 2. 调用短信服务的短信发送接口。 3. 短信服务成功收到请求后转发请求给运营商，运营商发送短信。 4. 用户收到短信后，短信服务会有最终的状态消息确认，即消息回执。 对应的协议是： 1. 支持HTTP或HTTPS协议请求通信。为了获得更高的安全性，推荐您使用HTTPS协议发送请求。 2. 发送API采用Rest协议，其中签名算法使用了天翼云的EOP协议。 3. 发送后的消息回执采用Restful的方式异步通知给客户。 服务地址 调用API的服务地址为 请注意，本系统所接口响应类的时间格式均为RFC3339标准，请按照标准进行解析。

参数区域 参数名称 参数说明 Syslog协议 服务IP 设置对接服务器IP地址。 服务端口 设置对接端口。 协议 设置协议类型，取值范围： l “TCP” l “UDP” 安全级别 设置上报消息的严重程度，取值范围： l “Informational” l “Emergency” l “Alert” l “Critical” l “Error” l “Warning” l “Notice” l “Debug” Facility 设置产生日志的模块。 标识符 设置产品标识，默认为“MRS Manager”。 报告信息 报文格式 设置告警报告的消息格式，具体要求请参考界面帮助。 报告告警类型 设置需要上报的告警类型。 l “故障”表示Manager产生告警时会上报Syslog告警消息。 l “清除”表示清除Manager告警时会上报Syslog告警消息。 l “事件”表示Manager产生事件时会上报Syslog告警消息。 报告告警级别 设置需要上报的告警级别。支持“提示”、“一般”、“严重”和 “致命”。 未恢复告警上报设置 周期上报未恢复告警 设置是否按指定周期上报未清除的告警。“周期上报未恢复告警”的开关默认为关闭，单击启用此功能。 间隔时间（分钟） 设置周期上报未恢复告警到远程Syslog服务的时间间隔，当“周期上报未恢复告警”开关打开时启用。单位为分钟，默认值为“15”，取值范围为5分钟到一天（1440分钟）。 心跳设置 上报心跳 设置是否开启周期上报Syslog心跳消息。“周期上报未恢复告警”的开关默认为关闭，单击启用此功能。 心跳周期（分钟） 设置周期上报心跳的时间间隔，当“上报心跳”开关打开时启用。单位为分钟，默认值为“15”，取值范围为160。 心跳报文 设置心跳上报的内容，当“上报心跳”开关打开时启用，不能为空。支持数字、字母、下划线、竖线、冒号、空格、英文逗号和句号等字符，长度小于等于256。

本节主要介绍如何在智能视图服务控制台查看推送历史。 在推送历史列表中，可以查看到历史推送记录，支持多种筛选方式查看。 快捷筛选：通过左上角的今天、近3天和自定义时间快捷筛选时间。 高级筛选：点击【高级筛选】，可通过策略名称、策略描述、用户组、推送方式、消息类型和消息内容进行查询。

操作步骤 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3.在RocketMQ实例名称后，单击。 进入云监控该实例的监控指标页面。 4.在实例监控指标页面中，找到需要创建告警的指标项，鼠标移动到指标区域，然后单击指标右上角的，创建告警规则。 跳转到创建告警规则页面。 5.在告警规则页面，设置告警信息。 创建告警规则操作，请查看云监控服务的用户指南“创建告警规则和告警通知”。 a. 设置告警名称和告警的描述。 b. 设置告警策略和告警级别。 如下图所示，在进行指标监控时，如果连续3个周期，磁盘容量使用率原始值超过85%，则产生告警，如果未及时处理，则产生告警通知。 图1 设置告警策略和告警级别 c. 设置“发送通知”开关。当开启时，设置告警生效时间、产生告警时通知的对象以及触发的条件。 d. 单击“立即创建”，等待创建告警规则成功。

本节主要介绍如何在智能视图服务控制台查看推送历史。 在推送历史列表中，可以查看到历史推送记录，支持多种筛选方式查看。 快捷筛选：通过左上角的今天、近3天和自定义时间快捷筛选时间。 高级筛选：点击【高级筛选】，可通过策略名称、策略描述、用户组、推送方式、消息类型和消息内容进行查询。

分布式消息Kafka使用SASL 认证协议来实现身份验证的能力，加密的主题需要经过身份校验才能正常地消费和生产消息。 1. 创建用户并配置用户权限 进入应用用户管理界面，新建用户，并给用户添加主题和消费组的权限，并且下载密钥。详细操作可以查看用户指南创建应用用户。 2. 运行生产者客户端 如下是Java客户端代码示例，注意修改内容（用户、密码、接入地址、主题名称）。 3. 运行消费者客户端 如下是Java客户端代码示例，注意修改内容（用户、密码、接入地址、消费组名称、主题名称）。