参数 说明 取值样例 类型 选择需要创建的站点复制对类型。 跨可用区 复制场景 选择需要创建的复制场景。当前支持类型：H2C（IDC容灾到云平台）。仅当创建“IDC”类型的复制对时，需要设置复制场景。 H2C 名称 站点复制对名称。 名称只能由中文字符、英文字母、数字、“”、“”和“.”组成，且不能有空格，长度不能大于64个字符。 Sitereplication001 生产站点 说明 仅当创建“跨区域”和“跨可用区”类型的复制对时，需要设置生产站点。 区域 生产站点所在的区域。 说明 仅当创建“跨区域”类型的复制对时，需要设置区域。 可用区 生产站点服务器所在的可用区。 说明 当创建“跨区域”和“跨可用区”类型的复制对时，需要设置可用区。 AZ1 网络 生产站点服务器所在的VPC。 VPC01 容灾站点 区域 容灾站点所在的区域。 选择步骤一：搭建云上专有网络时选择的区域。 说明 仅当创建“IDC上云”和“跨区域”类型的复制对时，需要设置区域。 可用区 容灾站点服务器所在的可用区。 AZ2 网络 容灾站点服务器所在的VPC。 选择步骤一：搭建云上专有网络时创建的VPC。 VPC02

操作场景 当您不再需要保护指定实例时，请执行删除保护实例操作，解除生产站点服务器和云平台容灾站点间的复制关系。 删除保护实例不会删除生产站点的云主机资源，对生产站点业务无影响。 使用须知 保护实例反向重保护后初始同步过程中，如果删除保护实例，生产站点服务器可能无法启动，建议等初始同步完成后再删除保护实例。 前提条件 待删除的保护实例有其它操作正在执行时，不可以执行删除操作。 操作步骤 1. 登录管理控制台。 2. 单击服务列表，选择“存储 > 存储容灾服务 SDRS”。进入“存储容灾服务”页面。 3. 在“异步复制”页面，单击待删除的保护实例所在站点复制对的保护实例数。进入对应站点复制对的保护组页面。 4. 在左侧导航选择待删除保护实例所在的保护组。进入保护组详情页面。 5. 在保护实例列表中，单击待删除的保护实例所在行操作列的“更多 > 删除”。如果需要批量删除保护实例，可同时勾选需要删除的保护实例，单击保护实例列表上方的“删除”。 6. 在弹出的确认对话框中，根据需求选择相应的操作。删除容灾站点的服务器/云硬盘： 1. 不勾选：生产站点服务器与云平台容灾站点间的复制关系解除，但是会保留容灾站点服务器及容灾站点服务器上挂载的云硬盘。 2. 勾选：生产站点服务器与云平台容灾站点间的复制关系解除，并同步删除容灾站点服务器及容灾站点服务器上挂载的云硬盘。如果不存在服务器则直接删除云硬盘。 3. 若当前保护实例处于“切换”、“反向重保护”状态，即容灾站点处于业务运行状态，无论是否勾选，均不会删除容灾站点资源。 7. 单击“是”，删除保护实例，保护实例状态显示为“删除中”。 8. 删除完成后，生产站点服务器将出现在“未保护的服务器”列表中。删除保护实例不会自动清理该保护实例创建的容灾演练，需在容灾演练页面进行删除。详见删除容灾演练。

概述 微服务治理中心环境是基于微服务治理中心应用的上层概念，用于组织微服务应用。通过环境，用户可以实现同资源池下不同环境下微服务应用的区分，实现对每个环境下治理规则配置的严格隔离，应对多环境治理需求，保证微服务治理的准确性。 应用场景 用户通常具有生产、测试、开发环境，环境之间相互隔离。用户可以将生产应用全部接入生产环境，如prod，测试应用全部接入测试环境，如test。从而能有效隔离生产应用和测试应用的治理规则，降低对生产环境的影响，保障稳定性。 除环境以外，还提供应用项目和应用分组的能力。用户可以按业务将应用划分为不同的项目，如商城项目，按应用的职能划分为不同的分组，如商城项目中可以包含订单、商品、用户等分组。 若您无需使用环境、项目和分组的能力，也可以不创建环境、项目和分组，应用将接入默认环境。 前提条件 开通微服务云应用平台。 创建环境 登录微服务治理中心控制台。 在控制台左侧栏选择应用治理。 在应用治理页面点击左上角“应用接入”标签，进入应用接入导航页。 在应用接入导航的云容器引擎或ECS集群页面点击“新增环境”。 在“新增环境”弹窗填写环境名称、环境编码、环境类型、资源池、VPC、可用区等信息，点击保存完成创建。 环境参数说明： 参数 说明 环境名称 当前环境的名称。 环境编码 环境对应的编码，输入环境名称后会自动生产编码，也可手动修改。 环境类型 可选开发环境、测试环境、预发环境或生产环境。 资源池 默认选中当前资源池。 VPC 当前资源池的VPC。 可用区 选中VPC包含的可用区。

规格 vCPU(个) 内存(GB) 默认最大连接数（单个CN） 通用增强II型 说明 通用增强II型基于X86架构 8 64 说明 仅2.6及以上的主备版实例可用于生产环境，其他情况下不能用于生产环境。 2000 通用增强II型 说明 通用增强II型基于X86架构 16 128 4000 通用增强II型 说明 通用增强II型基于X86架构 32 256 9000 通用增强II型 说明 通用增强II型基于X86架构 64 512 18000 鲲鹏通用增强型 说明 鲲鹏通用增强型基于ARM架构。 8 64 说明 仅2.6及以上的主备版实例可用于生产环境，其他情况下不能用于生产环境。 2000 鲲鹏通用增强型 说明 鲲鹏通用增强型基于ARM架构。 16 128 4000 鲲鹏通用增强型 说明 鲲鹏通用增强型基于ARM架构。 32 256 9000 鲲鹏通用增强型 说明 鲲鹏通用增强型基于ARM架构。 60 480 18000

本小节介绍微隔离防火墙业务拓扑使用说明。 工作组 拓扑中每个椭圆形标识代表一个工作组，类似于传统安全中的安全域、业务组等概念。 每个工作组有13个标签，分为位置标签、应用标签、环境标签，可以通过这三个标签来标识一个工作组，例如：“北京电商生产”、“天翼云web测试”等。 单击工作组，可查看该组的基本信息。基本信息页面可以修改该工作组的标签及策略状态。 注意 标签的修改会导致策略的变化，在防护状态下，谨慎修改。 针对工作组修改策略状态时，会改变改组内所有工作负载的策略状态。 点击详细信息，可进入工作组的详细页面。 双击工作组，可展开此工作组，并查看其中工作负载。 工作负载 工作组中每个小方块代表一个工作负载（工作负载可以是物理服务器、虚拟机或容器）。 单击工作负载，可查看该工作负载的基本信息，拓扑中也会高亮显示与此工作负载有访问关系的其他工作负载。 在工作负载基本信息框中可快速修改该工作负载角色及策略状态。重新统计按钮可清空所有针对此工作负载的访问连接记录。 支持在基本信息框中直接新建角色。

参数名称 说明 分区数 Topic的分区数。 老化时间 消息的最长保留时间。 副本数 Topic每个分区的副本数量。 同步复制 后端收到生产消息请求并复制给所有副本后，才返回客户端。 同步落盘 开启：生产的每条消息都会立即写入磁盘，可靠性更高。 关闭：生产的消息存在内存中，不会立即写入磁盘。 消息时间戳类型 定义消息中的时间戳类型，取值如下： CreateTime：生产者创建消息的时间。 LogAppendTime：broker将消息写入日志的时间。 批处理消息最大值 Kafka允许的最大批处理大小，如果启用消息压缩，则表示压缩后的最大批处理大小。 如果增加“批处理消息最大值”的值，且存在消费者版本早于0.10.2，此时消费者的“fetch size”值也必须增加，以便消费者可以获取增加后的批处理大小。 描述 Topic的描述信息。

主题监控指标 表主题支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期（原始指标） topicbytesinrate 生产流量 该指标用于统计每秒生产的字节数。单位：Byte/s、KB/s、MB/s、GB/s 说明 在“主题”页签，当“监控类型”为“基本监控”时，才包含该指标。 0~500000000 Kafka实例队列 1分钟 topicbytesoutrate 消费流量 该指标用于统计每秒消费的字节数。单位：Byte/s、KB/s、MB/s、GB/s 说明 在“主题”页签，当“监控类型”为“基本监控”时，才包含该指标。 0~500000000 Kafka实例队列 1分钟 topicdatasize 队列数据容量 该指标用于统计队列当前的消息数据大小。单位：Byte、KB、MB、GB、TB、PB 说明 在“主题”页签，当“监控类型”为“基本监控”时，才包含该指标。 0~5000000000000 Kafka实例队列 1分钟 topicmessages 队列消息总数 该指标用于统计队列当前的消息总数。单位：Count 说明 在“主题”页签，当“监控类型”为“基本监控”时，才包含该指标。 ≥ 0 Kafka实例队列 1分钟 topicmessagesinrate 消息生产速率 该指标用于统计每秒生产的消息数量。单位：Count/s 说明 在“主题”页签，当“监控类型”为“基本监控”时，才包含该指标。 0~500000 Kafka实例队列 1分钟 partitionmessages 分区消息数 该指标用于统计分区中当前的消息个数。单位：Count 说明 在“主题”页签，当“监控类型”为“分区监控”时，才包含该指标。 ≥ 0 Kafka实例队列 1分钟 producedmessages 生产消息数 该指标用于统计目前生产的消息总数。单位：Count 说明 在“主题”页签，当“监控类型”为“分区监控”时，才包含该指标。 ≥ 0 Kafka实例队列 1分钟

本文主要介绍编辑流控。 操作场景 本章节指导您在流控创建成功后，修改生产上限速率或者消费上限速率。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏单击“流控管理 > 流控列表”，进入流控列表页面。 步骤 6 在待修改的流控所在行，单击“编辑”，弹出“编辑流控”对话框。 步骤 7 修改生产上限速率或者消费上限速率，单击“确定”，跳转到“后台任务管理”页面，当流控任务的“状态”为“成功”时，表示流控修改成功。 进入“流控管理 > 流控列表”页面，查看修改后流控的生产上限速率或者消费上限速率。 说明 “生产上限速率”和“消费上限速率”不可同时为空。

生产消息 进入Kafka客户端文件的“/bin”目录下，执行如下命令进行生产消息。 ./kafkaconsoleproducer.sh brokerlist ​{连接地址} topic 连接地址−−topic​{Topic名称} producer.config ../config/producer.properties 参数说明如下： 连接地址：从前提条件获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 示例如下，“10.3.196.45:9095,10.78.42.127:9095,10.4.49.103:9095”为Kafka实例连接地址。 执行完命令后，输入需要生产的消息内容，按“Enter”发送消息到Kafka实例，输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecskafka bin] ./kafkaconsoleproducer.sh brokerlist 10.3.196.45:9095,10.78.42.127:9095,10.4.49.103:9095 topic topicdemo producer.config ../config/producer.propertiesHello DMS Kafka! ^C[root@ecskafka bin] 如需停止生产使用Ctrl+C命令退出。 消费消息 执行如下命令消费消息。 ./kafkaconsoleconsumer.sh bootstrapserver ​{连接地址} topic 连接地址−−topic​{Topic名称} group ${消费组名称} frombeginning consumer.config ../config/consumer.properties 参数说明如下： 连接地址：从前提条件获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 消费组名称：根据您的业务需求，设定消费组名称。 如果已经在配置文件中指定了消费组名称，请确保命令行中的消费组名称与配置文件中的相同，否则可能消费失败 。 消费组名称开头包含特殊字符，例如下划线“”、 号“ ”时，监控数据无法展示。 示例如下： [root@ecskafka bin]

参数 说明 企业项目 选择微服务引擎所在的企业项目。 企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理。 开通企业项目，创建并启用新的企业项目后可以使用，默认选择default。 规格 选择微服务引擎规格。须知引擎创建成功后，不支持规格变更。 引擎类型 选择微服务引擎的类型。 集群集群模式部署，主机级容灾。 单机单节点部署，不支持容灾。须知“引擎类型”为“单机”的微服务引擎专享版仅适用于开发测试环境，不适用于生产环境；不支持变更引擎类型。 如选择使用，请先阅读约束说明并勾选“我已知晓如下约束”。 引擎名称 输入微服务引擎的名称，引擎创建后不能修改名称。 可用区 选择可用区。 “引擎类型”选择“集群”时，根据环境可用区数量，为引擎选择1个或者3个可用区。 − 选择1个可用区，可提供主机级别容灾能力。− 选择3个可用区，可提供可用区级别容灾能力。 “引擎类型”选择“单机”时，为引擎选择1个可用区。 网络 为引擎选择已创建的虚拟私有云及其子网，可以为您的引擎构建隔离的、自主配置和管理的虚拟网络环境。 描述 输入引擎描述信息。 单击 ，输入引擎描述信息。 单击 ，保存描述。 安全认证 开启了“安全认证”的微服务引擎专享版，通过微服务控制台提供了基于RBAC（RoleBased Access Control，基于角色的访问控制）的系统管理功能。 选择“开启安全认证”： 1. 根据业务需要确认需开启安全认证后，勾选“我已知晓：开启安全认证后，需要在微服务的配置文件中添加对应用户的帐号密码，否则服务无法注册到引擎。” 2. 输入root帐号的“密码”，并在“再次输入密码”输入框输入密码进行确认。密码请妥善保管，以免遗失。 选择“关闭安全认证”：无需配置帐户名、密码即可将服务注册到引擎，效率性能更高，建议用于VPC内访问时使用。

场景描述 当开启自动创建Topic功能时，平台预设的管理员用户可跳过手动授权步骤，直接对任意Topic进行生产/消费。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入用户管理页面，点击“管理员用户”按钮。 （5）设置并且确认符合安全策略的密码，即可使用管理员用户。

限制项 约束和限制 描述 版本 当前服务端版本为3.8.35。 兼容AMQP 091协议的客户端版本。 连接数 RabbitMQ单机和集群实例，不同实例规格的连接数上限不一致，具体限制，请参考 产品规格 。 通道数 < 2047 单条连接可以建立的通道数。 消息大小 单条消息的最大长度为50MB。 服务端限制了单条消息的最大长度为50MB，请勿发送大于此长度的消息，否则生产失败。 内存高水位阈值 < 40% 内存使用率超过40%会触发内存高水位，生产者流程被阻塞。 磁盘高水位阈值 > 5GB 磁盘剩余空间低于5GB会触发磁盘高水位，生产者流程被阻塞。 clusterpartitionhandling pauseminority 当集群发生网络分区时，代理会检查自己是否处于“少数派”（存储分区的代理数小于等于总代理数的一半称为少数派）。少数派中的代理将会自动关闭服务并定期检测网络状态，待分区恢复之后重新启动服务。如果未开启镜像队列，发生分区时少数派上的队列将无法生产消费。此策略相当于放弃了可用性而选择了数据一致性。 rabbitmqdelayedmessageexchange 插件延迟时间存在1%左右的误差，可能提前或者推迟发送消息给消费者。 实例是否开启消息延迟功能。 RabbitMQ插件 RabbitMQ插件功能可用于测试和迁移业务等场景，不建议用于生产业务。 RabbitMQ实例主要提供AMQP 091业务消息的功能，兼容相关协议的Vhost、Exchange等组件。插件相关内容为非核心功能，不建议用于生产业务。

指标ID 指标名称 指标含义 取值范围 测量对象 监控周期（原始指标） topicproducemsg 消息生产数 Topic一分钟收到的消息数单位：Count >0 RocketMQ实例队列 1分钟 topicconsumemsg 消息消费数 Topic一分钟被消费的消息数单位：Count >0 RocketMQ实例队列 1分钟 topicproducerate 消息生产速率 Topic每秒收到的消息数单位：Count/s >0 RocketMQ实例队列 1分钟 topicconsumerate 消息消费速率 Topic每秒被消费的消息数单位：Count/s >0 RocketMQ实例队列 1分钟 topicbytesinrate 生产流量 当前主题的生产流量单位：Byte/s说明：2022年5月16号及以后购买的实例，支持此监控项。 >0 RocketMQ实例队列 1分钟 topicbytesoutrate 消费流量 当前主题的消费流量单位：Byte/s说明：2022年5月16号及以后购买的实例，支持此监控项。 >0 RocketMQ实例队列 1分钟

修改Kafka连接地址 1.在管理控制台左上角单击，选择“企业间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka控制台页面。 2.单击Kafka集群名称，进入实例详情页面。 3.在“实例详情”页面的“高级配置”区域，单击“添加路由策略”，选择接入类型为跨VPC访问，填入advertised.listeners IP和Port端口，advertised.listeners IP为7和8中记录的节点IP，8为创建终端节点服务时填入的端口。修改完后，单击“保存”。其中dvertised.listeners IP中可填入域名，需客户端支持域名解析。 4.20240810前开通的实例，需要重启实例才能生效 图9 修改advertised.listeners IP 验证接口连通性 参考安全接入点接入，测试是否可以生产和消费消息。 测试接口连通性时，注意以下几点： 连接Kafka实例的地址为“advertiesd.listeners IP:port”，以图9为例，连接Kafka实例的地址为“10.254.0.74:9011,10.254.0.75:9011,10.254.0.88:9011”。 在Kafka实例安全组的入方向规则中放通对应端口，以及 XX.XX.XX.0/16网段的地址。 说明 XX.XX.XX.0/16是为VPC终端节点分配的网段，使用VPC终端节点需要放通此网段。

p8e055b8b06eb3e8b)。点击“下一步：确认配置”，进入确认配置页面。确认信息无误后，点击“立即创建”，完成数据保护配置的开启。 步骤四：生产服务器配置 1. 生产服务器drnode客户端安装：若生产服务器为天翼云云主机，操作与步骤三一致，其他可参考++安装drnode客户端++。 2. 生产服务器节点开启数据保护：与步骤三一致，节点角色需选择：备份客户端、FFO/CDM整机客户端。 步骤五：存储资源配置 1. 磁盘池配置：点击左侧菜单栏“资源同步管理”“存储管理”，点击“存储池磁盘池”，进入磁盘池页面。点击“新建”按钮，进入创建磁盘池页面。配置磁盘池相关信息。填写磁盘池名称、选择磁盘池类型为本地磁盘、选择备份服务器、存储路径，其他选项可保持默认或根据需要配置。 2. 存储单元配置：点击左侧菜单栏 “存储管理”，点击“存储单元”，进入存储单元页面。点击“新建”按钮，进入创建存储单元页面。配置存储单元相关信息。输入存储单元名称、选择存储单元类型、选择备份服务器、选择磁盘池、选择默认保留等级，其他选项可以保持默认或根据需要配置。

创建实例时开启SASLSSL访问，则数据加密传输，安全性更高。 由于安全问题，支持的加密套件为TLSECDHEECDSAWITHAES128CBCSHA256，TLSECDHERSAWITHAES128CBCSHA256和TLSECDHERSAWITHAES128GCMSHA256。 本节介绍如何使用开源的Kafka客户端访问开启SASL的Kafka专享实例的方法。 说明： 使用SASL方式连接Kafka实例时，为了客户端能够快速解析实例的Broker，建议在客户端所在主机的“/etc/hosts”文件中配置host和IP的映射关系。 其中，IP地址必须为实例连接地址（Broker地址），host为每个实例主机的名称（您可以自定义主机的名称，但不能重复）。 例如： 10.154.48.120 server01 10.154.48.121 server02 10.154.48.122 server03 前提条件 已配置正确的安全组。 访问开启SASL的Kafka专享实例时，支持VPC内访问。实例需要配置正确的安全组规则，具体安全组配置要求，请参考表32。 已获取连接Kafka专享版实例的地址。 使用VPC内访问，实例端口为9093，实例连接地址获取如下图。 获取VPC内访问Kafka专享实例的连接地址（实例已开启SASL） Kafka专享实例已创建Topic，否则请提前创建Topic。 已下载client.truststore.jks证书。如果没有，在控制台单击Kafka实例名称，进入实例详情页面，在“基本信息 > 高级配置 > Kafka SASLSSL”所在行，单击 。下载压缩包后解压，获取压缩包中的客户端证书文件：client.truststore.jks。 已下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本，确保Kafka实例版本与命令行工具版本相同。 已在Kafka命令行工具的使用环境中安装Java Development Kit 1.8.111或以上版本，并完成环境变量配置。 命令行模式连接实例 以下操作命令以Linux系统为例进行说明。 解压Kafka命令行工具。 进入文件压缩包所在目录，然后执行以下命令解压文件。 tar zxf [kafkatar] 其中，[kafkatar]表示命令行工具的压缩包名称。 例如： tar zxf kafka2.111.1.0.tgz 修改Kafka命令行工具配置文件。 在Kafka命令行工具的“/config”目录中找到“consumer.properties”和“producer.properties”文件，并分别在文件中增加如下内容。 sasl.jaas.configorg.apache.kafka.common.security.plain.PlainLoginModule required username"" password""; sasl.mechanismPLAIN security.protocolSASLSSL ssl.truststore.location/opt/kafka2.111.1.0/config/client.truststore.jks ssl.truststore.passworddms@kafka ssl.endpoint.identification.algorithm 参数说明： username和password为创建Kafka专享实例过程中开启SASLSSL时填入的用户名和密码。 ssl.trustore.location配置为client.truststore.jks证书的存放路径。注意，Windows系统下证书路径中也必须使用“/”，不能使用Windows系统中拷贝路径时的“”，否则客户端获取证书失败。 ssl.truststore.password为服务器证书密码，不可更改，需要保持为dms@kafka。 ssl.endpoint.identification.algorithm为证书域名校验开关，为空则表示关闭。这里需要保持关闭状态，必须设置为空。 进入Kafka命令行工具的“/bin”目录下。 注意，Windows系统下需要进入“/bin/windows”目录下。 执行如下命令进行生产消息。 ./kafkaconsoleproducer.sh brokerlist ${连接地址} topic ${Topic名称} producer.config ../config/producer.properties 参数说明如下： 连接地址：从前提条件获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 如下示例，Kafka实例连接地址为“10.xxx.xxx.202:9093,10.xxx.xxx.197:9093,10.xxx.xxx.68:9093”。 执行完命令后，输入需要生产的消息内容，按“Enter”发送消息到Kafka实例，输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecskafka bin]

本章节介绍如何将老的内核版本升级到最新的内核版本。 升级Kafka实例内核版本，指的是将老的内核版本升级到最新的内核版本，升级后，Kafka实例将支持一些新的特性（例如支持在控制台创建消费组、支持查看Topic详情等），并且修复老版本的一些问题。 升级Kafka实例内核版本并不会升级Kafka实例的大版本，例如升级前Kafka版本为2.7，升级内核版本后，Kafka版本还是2.7。 升级内核版本的影响 若Topic为单副本，升级期间无法对该Topic生产消息或消费消息，会造成业务中断。 若Topic为多副本，升级不会造成服务中断，但会逐个节点重启，负载会转移到剩余节点上，建议您在业务低峰期升级。 升级过程中会逐个节点升级，单个节点的升级包括两部分：升级软件包和数据同步。升级软件包耗时在5分钟左右，数据同步耗时取决于升级软件包过程中其他节点Leader副本的生产数据量，数据量越大，所需时间越久。升级总耗时每个节点升级软件包耗时+数据同步耗时。 升级过程中会逐个节点重启监控进程，导致监控数据断点，重启成功后，监控数据恢复。 升级过程中节点滚动重启造成分区Leader切换，会发生秒级连接闪断，在用户网络环境稳定的前提下，Leader切换时长一般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制，方法如下： 生产客户端为Kafka开源客户端时，检查是否配置retries和retry.backoff.ms参数。建议参数值分别配置为：retries10，retry.backoff.ms1000。 生产客户端为Flink客户端时，检查是否配置重启策略，配置重启策略可以参考如下代码。 StreamExecutionEnvironment env StreamExecutionEnvironment.getExecutionEnvironment(); env.setRestartStrategy(RestartStrategies.fixedDelayRestart(10, Time.seconds(20)));

生产消息 进入Kafka客户端文件的“/bin”目录下，执行如下命令进行生产消息： ./kafkaconsoleproducer.sh brokerlist ​{连接地址} topic 连接地址−−topic​{Topic名称} 参数说明如下： 连接地址：从前提条件中获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 示例如下，“10.3.196.45:9094,10.78.42.127:9094,10.4.49.103:9094”为获取的Kafka实例公网连接地址。 执行完命令后，输入需要生产的消息内容，按“Enter”发送消息到Kafka实例，输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecskafka bin] ./kafkaconsoleproducer.sh brokerlist 10.3.196.45:9094,10.78.42.127:9094,10.4.49.103:9094 topic topicdemoHello DMS Kafka! ^C[root@ecskafka bin] 如需停止生产使用Ctrl+C命令退出。 消费消息 执行如下命令进行消费消息： ./kafkaconsoleconsumer.sh bootstrapserver ​{连接地址} topic 连接地址−−topic​{Topic名称} group ${消费组名称} frombeginning 参数说明如下： 连接地址：从前提条件中获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 消费组名称：根据您的业务需求，设定消费组名称。 如果已经在配置文件中指定了消费组名称，请确保命令行中的消费组名称与配置文件中的相同，否则可能消费失败。 消费组名称开头包含特殊字符，例如下划线“”、 号“ ”时，监控数据无法展示。 示例如下： [root@ecskafka bin] ./kafkaconsoleconsumer.sh bootstrapserver 10.3.196.45:9094,10.78.42.127:9094,10.4.49.103:9094 topic topicdemo group ordertest frombeginning Kafka! DMS Hello ^CProcessed a total of 3 messages [root@ecskafka bin]

本章节介绍了分布式消息服务RocketMQ的相关术语解释。 主题（Topic） 消息关联的基础逻辑单元。消息生产与消费时的基础单位。 队列（Queue） 一个主题由多个队列组成。队列数越大消费的并发度越大。 生产者（Producer） 消息写入的触发者，负责将消息推送到服务端。 生产者组（Producer Group） 同一类生产者的集合，这类生产者发送同一类消息且发送逻辑一致。 消费者（Consumer） 接收消息的对象，负责从服务端获取消息。 消费组（Consumer Group） 多个消费者组成同一个消费组，同一消费组内的消费者具有相同的消费属性。 代理（Broker） 一组节点构成的一个业务集群。 NameServer 存储元数据信息的轻量级注册中心。生产者/消费者在生产/消费消息前，需要先从NameServer获取元数据。

参数名称 说明 分区数 Topic的分区数。 老化时间 消息的最长保留时间。 副本数 Topic每个分区的副本数量。 同步复制 后端收到生产消息请求并复制给所有副本后，才返回客户端。 同步落盘 开启：生产的每条消息都会立即写入磁盘，可靠性更高。 关闭：生产的消息存在内存中，不会立即写入磁盘。 消息时间戳类型 定义消息中的时间戳类型，取值如下： CreateTime：生产者创建消息的时间。 LogAppendTime：broker将消息写入日志的时间。 批处理消息最大值 Kafka允许的最大批处理大小，如果启用消息压缩，则表示压缩后的最大批处理大小。 如果增加“批处理消息最大值”的值，且存在消费者版本早于0.10.2，此时消费者的“fetch size”值也必须增加，以便消费者可以获取增加后的批处理大小。 描述 Topic的描述信息。

本节主要介绍云数据库GeminiDB的产品定义。 云数据库 GeminiDB是一款基于计算存储分离架构的分布式多模NoSQL数据库服务。在云计算平台高性能、高可用、高可靠、高安全、可弹性伸缩的基础上，提供了一键部署、备份恢复、监控报警等服务能力。 云数据库 GeminiDB目前兼容InfluxDB、Redis主流的NoSQL接口，并提供高读写性能，具有高性价比，适用于IoT、气象、互联网、游戏等领域。 如何选择接口 不同接口的适用场景及功能存在差异，您可以根据业务需要选择接口产品。 表1 场景说明 接口名称 兼容接口 使用场景 说明 GeminiDB Redis接口 兼容KeyValue接口：Redis GeminiDB Redis接口满足高读写性能场景及容量需弹性扩展的业务需求。与开源Redis相比，本产品将数据全部存储在磁盘中而非内存中，容量更大、成本更低。 GeminiDB Redis 接口是一款基于计算存储分离架构，兼容Redis生态的云原生NoSQL数据库，基于共享存储池的多副本强一致机制，支持持久化存储，保证数据的安全可靠。具有高兼容、高性价比、高可靠、弹性伸缩、高可用、无损扩容等特点。 GeminiDB Influx接口 兼容时间序列型接口：InfluxDB GeminiDB Influx接口广泛应用于资源监控，业务监控分析，物联网设备实时监控，工业生产监控，生产质量评估和故障回溯等。 GeminiDB Influx 接口是一款基于计算存储分离架构，兼容InfluxDB生态的云原生NoSQL时序数据库。提供大并发的时序数据读写，压缩存储和类SQL查询，支持多维聚合计算和数据可视化分析能力。具有高写入、灵活弹性、高压缩率和高查询等特点。

控制台消费组管理不能订阅Topic的问题 消费组如需消费某个Topic，无需在控制台新建订阅，直接订阅消费即可。如果需要使用sasl连接进行生产消费，可以在用户管理页面对用户权限进行管理，增加用户对Topic的生产消费权限。

本节介绍如何使用的安全接入点接入Kafka的方法，文档以Java代码为例。 前提条件 已配置正确的安全组。 已获取连接Kafka实例的地址。 如果Kafka实例未开启自动创建Topic功能，在连接实例前，请先创建Topic。 已创建弹性云服务器，如果使用内网同一个VPC访问实例，请设置弹性云服务器的VPC、子网、安全组与Kafka实例的VPC、子网、安全组一致。 需要用户先在用户管理页面创建用户，然后给对应的topic授予生产消费权限。 使用内网同一个VPC访问，实例端口为8092，实例连接地址从控制台实例详情菜单处获取，如下图所示。 Maven中引入Kafka客户端 java Kafka实例基于社区版本2.8.2/3.6.2，推荐客户端保持一致。 org.apache.kafka kafkaclients 2.8.2/3.6.2 客户端关键参数 java Properties props new Properties(); props.put(ProducerConfig.BOOTSTRAPSERVERSCONFIG, BROKERADDR); props.put(ProducerConfig.VALUESERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.KEYSERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(CommonClientConfigs.SECURITYPROTOCOLCONFIG, "SASLPLAINTEXT"); props.put("sasl.mechanism", "SCRAMSHA512"); props.put(SaslConfigs.SASLJAASCONFIG, "org.apache.kafka.common.security.scram.ScramLoginModule required username"testuser" password"Kafka@Test";"); 生产者代码示例 java package com.justin.kafka.service.gw.sasl; import org.apache.kafka.clients.CommonClientConfigs; import org.apache.kafka.clients.producer.Callback; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.clients.producer.ProducerRecord; import org.apache.kafka.clients.producer.RecordMetadata; import org.apache.kafka.common.config.SaslConfigs; import org.apache.kafka.common.serialization.StringSerializer; import java.util.Properties; public class Producer { private final KafkaProducer producer; public final static String TOPIC "testtopic2"; public final static String BROKERADDR "192.168.0.11:8092,192.168.0.9:8092,192.168.0.10:8092"; public Producer() { Properties props new Properties(); props.put(ProducerConfig.BOOTSTRAPSERVERSCONFIG, BROKERADDR); props.put(ProducerConfig.VALUESERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.KEYSERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(CommonClientConfigs.SECURITYPROTOCOLCONFIG, "SASLPLAINTEXT"); props.put("sasl.mechanism", "SCRAMSHA512"); props.put(SaslConfigs.SASLJAASCONFIG, "org.apache.kafka.common.security.scram.ScramLoginModule required username"testuser" password"Kafka@Test";"); props.put(ProducerConfig.ACKSCONFIG, "all"); props.put("retries",3); producer new KafkaProducer<>(props); } public void produce() { try { for (int i 0; i (TOPIC, data), new Callback() { public void onCompletion(RecordMetadata metadata, Exception exception) { if (exception ! null) { // TODO: 异常处理 exception.printStackTrace(); return; } System.out.println("produce msg completed, partition id " + metadata.partition()); } }); } } catch (Exception e) { // TODO: 异常处理 e.printStackTrace(); } producer.flush(); producer.close(); } public static void main(String[] args) { Producer producer new Producer(); producer.produce(); } }

平台化全流程管理 AI训练的高效执行，依赖于大数据团队、数据标注团队、算法开发团队、性能优化团队以及算法工程化团队等多个专业角色的紧密协作。 训推智算服务平台，一个集成化的平台化工具，将以上所有角色都汇聚于一个统一的平台之上，提供从数据处理、模型开发、模型训练到最终模型部署应用的全栈服务。 管理者能够在平台上实现统一管理和查看，确保各环节的无缝衔接，让各角色参与者能借助平台完美协同工作，实现数据互通、环境互通，确保数据和模型安全，全程不出平台实现训练开发资产的一站式沉淀与管理，能显著提升企业整体工作效率，实现AI生产的流水线化运作。 丰富的算力资源 平台支持多种类型算力集群，如昇腾的910B集群，英伟达系列的H800、A10、A100、A800、L40S等算力集群，为用户提供丰富的算力资源选择；同时平台算力集群支持异构算力，即同一集群内可融合不同型号的算力显卡，并使用不同卡部署任务。

步骤二：测试验证 1. 登录分布式消息服务Kafka管理控制台。 2. 在左侧导航栏，单击实例列表，选择事件流的源实例。 3. 在主题管理页面，选择源的目标主题，操作列点击更多 ，然后点击生产消息。 4. 在生产消息对话框输入想要发送的消息，然后点击发送消息。 5. 发送消息后返回实例列表，选择事件流的目标实例，进入管理。 6. 在消息查询页面，选择目标实例的目标主题，然后按时间查询，查询最近收到的消息。 7. 查看查询到的Key和Value值是否与生产的消息一致，详见图2。 图2 在分布式消息服务Kafka管理控制台查看消息详情

测试场景 本章节主要测试RocketMQ不同产品规格在发送1KB大小的消息，实例的网络入流量、网络出流量、消息生产速率、消息消费速率、CPU核均负载和内存使用率。 测试环境 购买实例 名称 规格 存储空间 rocketmq01 c7.xlarge.2 4C8G 超高I/O 500GB rocketmq02 c7.2xlarge.2 8C16G 超高I/O 500GB rocketmq03 c7.4xlarge.2 16C32G 超高I/O 500GB 控制台创建主题 名称 权限 关联代理 队列个数 topic01 发布+订阅 broker1 8 控制台创建消费组 名称 关联代理 最大重试次数 是否允许以广播模式消费 group01 broker1 16 否 测试工具准备 购买1台ECS服务器（区域、可用区、虚拟私有云、子网、安全组与RocketMQ实例保持一致，Linux系统），安装jdk，并配置环境变量 tar zxvf jdk8u131linuxx64.tar.gz vi /etc/profile 追加以下内容 export JAVAHOME/root/jdk1.8.0131 export PATH$JAVAHOME/bin:$PATH 生效配置 source /etc/profile 下载测试工具 wget 解压测试工具 unzip rocketmqall5.1.4binrelease.zip 测试命令

本章主要介绍使用软件开发生产线快速搭建项目（ECS篇） 本文基于软件开发生产线内置代码仓库，介绍如何使用软件开发生产线完成项目的开发、构建与部署，实现持续交付。 本文采用的ECS部署，若需了解CCE部署方法，请参考使用软件开发生产线快速搭建项目（CCE篇）。 准备工作 1. 拥有天翼云帐号。若没有，请先注册天翼云帐号。 2. 已购买软件开发生产线。 3. 已购买弹性IP。 4. 已购买云主机，购买时的必要配置可参考下表，表中未列出的配置可根据实际情况选择。完成购买后，参考“《云主机用户指南》​>安全​>安全组​>配置安全组规格”添加端口22及8080的入方向规则。 表 云主机配置 配置分类 配置项 配置建议 ::: 基础配置 计费模式 选择“按需计费”。 基础配置 CPU架构 选择“x86计算” 基础配置 规格 选择2核4G或以上规格。 基础配置 镜像 选择“公共镜像 > CentOS > CentOS 7.6 64bit(40GB)”。 网络配置 弹性IP 选择“使用已有”。 高级配置 登录凭证 选择“密码”。 高级配置 密码 输入自定义密码。

本节介绍了编译工程生产消费的主要内容点,包括引入依赖、绑定BindingKey、生产消息和消费消息。 前提条件 创建分布式消息服务RabbitMQ实例。 操作步骤 RabbitMQ是一个开源的消息队列中间件，支持生产者和消费者之间的异步通信。在上述资源准备完成后，接下来需要编译工程生产消费，主要分以下几个步骤： 1、编写生产者代码：编写一个生产者程序。该程序将连接到RabbitMQ服务器，并将消息发送到队列中。 2、编写消费者代码：编写一个消费者程序。该程序将连接到RabbitMQ服务器，并从队列中接收消息。 3、运行生产者和消费者：运行生产者程序，它将发送消息到队列中。然后运行消费者程序，它将从队列中接收并处理消息。 4、验证结果：检查生产者和消费者程序的输出，确保消息被正确发送和接收。 引入依赖 在使用RabbitMQ时，你需要在你的项目中引入相应的依赖。具体的依赖项可能会因你的项目和需求而有所不同。在使用RabbitMQ之前，请确保查阅官方文档以获取最新的依赖项和使用说明。 以Java编程语言为例，可以使用RabbitMQ的Java客户端库。你可以在Maven或Gradle构建工具中添加以下依赖项： com.rabbitmq amqpclient 5.7.0 也可以通过下载JAR包来引入依赖。 绑定BindingKey 在RabbitMQ中，绑定键（Binding Key）是用于绑定交换机（Exchange）和队列（Queue）的关键字。当一个消息被发送到交换机时，交换机会根据绑定键将消息路由到相应的队列中。 绑定键是在创建绑定（Binding）时指定的，它定义了消息应该如何被路由到队列。绑定键通常与消息的属性或内容进行匹配，以确定消息应该发送到哪个队列。 绑定键可以具有不同的形式，取决于使用的交换机类型。以下是一些常见的绑定键形式： 直接匹配（Direct Match）：绑定键与消息的路由键（Routing Key）完全匹配时，消息会被路由到相应的队列。 通配符匹配（Wildcard Match）：绑定键可以使用通配符进行模式匹配。常见的通配符有和

本节主要介绍分布式消息服务Kafka如何创建应用用户 场景描述 用户：主要用于规定生产消费指定加密主题的策略而需要，例如规定用户A可生产消费加密Topic1，用户B可生产消费加密Topic2，用户C可生产消费加密Topic1、Topic2，则需要为这三个用户创建用户，并分配加密主题权限。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入用户管理页面，点击新建用户。 （5）在 新建用户的窗口中填入集群名、用户、密码、描述，然后保存。 批量创建用户 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入应用用户管理页面。 （5）点击“批量创建用户”后，出现如下上传文件界面，文件格式件批量下载说明。 （6）点击“上传”完成批量创建。 下载批量创建用户模板 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入用户管理页面。 （5）点击“下载模板”右侧下拉倒三角“下载模板”，内容如下图。 （6）参数说明。 参数 说明 username 用户名 password 密码 description 备注或描述

场景说明 RocketMQ提供了两种连接： 生产者连接：生产者通过调用RocketMQ提供的API，与RocketMQ代理（Broker）建立连接。生产者连接主要用于发送消息到RocketMQ。 消费者连接：消费者通过调用RocketMQ提供的API，与RocketMQ代理（Broker）建立连接。消费者连接主要用于从RocketMQ订阅消息并进行消费。 RocketMQ采用基于TCP/IP的通信协议，使用长连接方式进行连接。在建立连接之前，需要配置正确的RocketMQ服务端地址和端口，并使用相应的身份验证信息（如AccessKey和SecretKey）进行认证。 建立连接后，RocketMQ客户端可以通过连接发送消息到RocketMQ集群，并从集群中接收消息进行消费。连接的建立和维护是RocketMQ消息传递的基础，确保了消息的可靠传递和高效处理。 操作步骤 首先需要在RocketMQ控制台实例详情记录下集群的接入点信息，目前默认支持Namesrv的内网访问，将该地址作为客户端程序Namesrv地址的参数，具体生产消费消息的客户端示例代码请参考快速入门生产消费验证。 1、 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2、 登录分布式消息服务RocketMQ控制台，点击右上角地域选择对应资源池。 3、 进入实例列表，点击【管理】按钮进入管理菜单。 4、 进入主题管理菜单，点击【拨测】按钮，进行生产消费的拨测验证，验证开通的消息实例和主题。 5、 用户应用按照规范接入RocketMQ，发送、消费消息。

本章节介绍使用云原生网关实现蓝绿、金丝雀发布及AB实验的最佳实践 概述 蓝绿部署（BlueGreen Deployment）和金丝雀部署（Canary Deployment）是部署中常用的两种策略，用于在生产环境中引入新版本的应用程序或服务。这两种部署策略旨在降低风险并确保新版本的稳定性，同时允许逐步发布或回滚变更。 蓝绿部署中存在两个完全独立的生产环境（通常称为蓝环境和绿环境）被用于部署不同版本的应用程序。最初，蓝环境是当前正在运行的稳定版本，而绿环境是新版本的部署目标。一旦绿环境成功部署并通过测试，可以将流量切换到绿环境，并将蓝环境作为备份或回滚选项保留。这种方式可以确保在生产环境中保持稳定，并在需要时快速回滚到之前的版本。 金丝雀部署是一种逐步发布新版本的策略。在金丝雀部署中，新版本的应用程序或服务仅在一小部分用户或服务器上进行部署，这些用户或服务器被称为金丝雀群体。通过监控金丝雀群体的性能和稳定性，可以评估新版本的表现，并在没有负面影响的情况下逐步扩大金丝雀群体的规模，直到最终将新版本部署到整个生产环境。如果金丝雀部署中发现了问题或负面影响，可以快速回滚到之前的版本，以避免对所有用户造成影响。

方案概述 Kafka将Topic划分为多个分区，消息被存储在不同的分区中。在同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积，从而会造成消息消费延迟。 导致消息堆积的常见原因如下： 生产者短时间内生产大量消息到Topic，消费者无法及时消费。 消费者的消费能力不足（消费者并发低、消息处理时间长），导致消费效率低于生产效率。 消费者异常（如消费者故障、消费者网络异常等）导致无法消费消息。 Topic分区设置不合理（leader副本都集中在部分Broker中、分区数太少），或新增分区无消费者消费。 Topic频繁重平衡导致性能下降，消费效率降低。 实施步骤 从消息堆积的原因看，消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 消费者端 根据实际业务需求，合理增加消费者个数（消费并发度），建议消费者数量和分区数保持一致。 提高消费者的消费速度，通过优化消费者处理逻辑（减少复杂计算、第三方接口调用和读库操作），减少消费时间。 增加消费者每次拉取消息的数量：拉取数据/处理时间 > 生产速度。 生产者端 生产消息时，给消息Key加随机后缀，使消息均衡分布到不同分区上。（在实际业务场景中，为消息Key加随机后缀，会导致消息全局不保序，需根据实际业务判断是否适合给消息Key加随机后缀。） 服务端 合理设置Topic的分区数，在不影响业务处理效率的情况下，调大Topic的分区数量。 当服务端出现消息堆积时，对生产者进行熔断，或将生产者的消息转发到其他Topic。