本章节主要介绍如何创建Vhost。 操作场景 每个Vhost（Virtual Hosts）相当于一个相对独立的RabbitMQ服务器。Vhost用作逻辑隔离，分别管理Exchange、Queue和Binding，使得应用安全地运行在不同的Vhost上，相互之间不会干扰。一个实例下可以有多个Vhost，一个Vhost里可以有若干个Exchange和Queue。生产者和消费者连接RabbitMQ实例时，需要指定一个Vhost。Vhost的相关介绍，请参考官网文档Virtual Hosts。 本章节主要介绍创建Vhost的操作，有以下几种方式，您可以根据实际情况选择任意一种方式： 方式一：在控制台创建 方式二：使用RabbitMQ WebUI创建 方式三：调用API创建 方式一：在控制台创建 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 此处请选择RabbitMQ实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”>“分布式消息服务”>“RabbitMQ专享版”，进入分布式消息服务RabbitMQ专享版页面。 步骤 4 单击实例名称，进入实例详情页面。 步骤 5 在左侧导航栏选择“Vhost列表”，进入Vhost列表页面。 步骤 6 单击“创建Vhost”，弹出“创建Vhost”对话框。 步骤 7 设置Vhost的名称，单击“确定”。 创建成功后，在Vhost列表页面显示创建成功的Vhost。 图1 Vhost列表（控制台） “tracing”表示是否开启消息追踪功能。开启消息追踪后，您可以跟踪消息的转发路径。 说明 Vhost创建成功后，无法修改名称。 实例创建后，会自动创建一个名为“/”的Vhost。

分布式消息服务Kafka实例回收站可展示到期、已退订的实例，您可以在回收站对这些实例执行恢复、彻底销毁等操作。 说明 回收站功能目前为白名单特性，如需要使用该特性，请联系技术支持开通后使用。 注意事项 根据付费方式的不同，当实例到期或欠费后，各时间节点对应的影响有所不同。更多信息，请参见续费、到期与欠费。 一旦实例到达被彻底销毁的时间点或者执行销毁实例操作后，实例中的数据将被彻底销毁且无法找回。 操作步骤 1. 登录管理控制台。 2. 在管理控制台左上角选择实例所在的区域。 3. 在左侧菜单导航栏，单击【回收站】。 4. 在回收站的实例列表中，根据业务需求执行目标实例操作列中对应的操作： 操作 说明 恢复 跳转到恢复实例页面，用户续订后，完整恢复退订前所有数据，按所选续订时长从恢复时间起自动顺延实例到期时间。 销毁 彻底删除实例及其数据备份。 ⚠️注意：执行该操作后，实例的数据将被彻底删除且无法找回，请谨慎操作。

配置RabbitMQ事件触发函数 1. 返回函数工作流控制台，在左侧的导航栏选择“函数 > 函数列表”。 2. 选择待配置的函数，单击进入函数详情页。 3. 在函数详情页，选择函数版本。 4. 在“代码”页签下，单击“测试”，弹出“配置测试事件”对话框。 5. 填写如表所示测试信息后，单击“保存”。 表 测试信息 参数 说明 配置测试事件 可创建新的测试事件也可编辑已有的测试事件。选择默认值：“创建新的测试事件”。 事件模板 选择“rabbitmqeventtemplate模板”，使用系统内置RabbitMQ事件模板。 事件名称 事件名称必须以大写或小写字母开头，支持字母（大写或小写），数字和下划线“”（或中划线“”），并以字母或数字结尾，长度为125个字符，例如kafka123test。 测试事件 自动加载系统内置RabbitMQ事件模板，本例不做修改。 6. 单击“测试”，可以得到函数运行结果，函数会返回输入RabbitMQ消息数据。

天翼云计划于2025年12月10日 00:00（北京时间）下线二类节点分布式消息服务RabbitMQ的部分插件，具体下线插件如下： rabbitmqamqp10 rabbitmqmqtt rabbitmqsharding rabbitmqstomp rabbitmqtracing rabbitmqwebmqtt rabbitmqwebstomp 下线范围 下线范围为天翼云二类节点：北京2、成都3、福州、广州4、贵州、杭州、昆明、南昌、内蒙3、青岛、上海4、深圳、石家庄、苏州、太原、芜湖、武汉2、西安2、华北、长沙2、兰州、重庆、郑州、乌鲁木齐。 下线原因 开启上述插件后，容易引起业务过载风险、影响业务系统稳定。 rabbitmqwebstomp插件通过临时队列提供WebSocket能力，同时其连接和释放依赖于心跳机制，过多的临时队列以及过多连接数会导致内存高水位，从而导致节点状态异常。 下线影响 未开启待下线插件的实例，插件列表中将不再显示这些插件。 已开启待下线插件的实例，仍然可以使用。如果您在控制台关闭这些插件后，也将不再显示。 如有任何问题可通过天翼云官网(www.ctyun.cn)提交工单或服务热线（4008109889）与我们联系。 消减措施 已开启插件的RabbitMQ实例，建议参考设置RabbitMQ告警规则，配置相应的告警，提前预知并消减风险。

以应用为维度,进行可视化拓扑展示。 功能入口 1. 选择目标资源池，并登录APM组件控制台。 2. 在左侧导航栏中选择「应用监控 」「应用列表」。 3. 在应用列表中选择您想查看的应用，点击「应用名称」打开新的应用详情链接。 4. 在左侧导航栏中选择「应用拓扑」查看相应信息。 功能说明 拓扑图是一种以图形化方式展示应用之间关系的图表，帮助开发人员或运维人员了解应用程序的整体结构和运行状况。 信息 拓扑图通常包括以下信息： 应用或服务的组成部分：例如数据库、缓存、消息队列、Web 服务器等，当前版本支持的插件见下表，暂未支持的插件会显示为unknown。 类别 支持的服务 其他基础服务 JavaMethod 其他基础服务 Netty 数据库 Mysql 数据库 ClickHouse 数据库 EsRestClient 数据库 MongoDb 缓存 Redis 缓存 Jedis 缓存 Lettuce 消息 KafkaConsumer 消息 KafkaProducer 消息 RabbitMqConsumer 消息 RabbitMqProducer Web容器 Tomcat 外部调用 HttpClient 组件之间的依赖关系：例如一个组件调用另一个组件的接口等，包含各项基础指标 指标名 说明 客户端 显示当前链路的客户端名称。 服务端 显示当前链路的服务端名称。 请求总量 显示当前链路在筛选时间段内的请求次数。 吞吐量 显示当前链路在筛选时间段内平均每分钟的请求量。 平均响应时间 显示当前链路在筛选时间段内所有请求的平均响应时间。 错误数 显示当前链路在筛选时间段内请求错误次数。 错误率 显示当前链路在筛选时间段内请求错误率，即：错误数/请求总量。 通过分析拓扑图，开发/运维人员可以快速定位应用中的问题，并进行及时的排查和修复。拓扑图还可以帮助开发/运维人员进行容量规划和性能优化，以提高应用程序或服务的性能和可靠性。

可信云服务可以通过IAM委托的方式访问其他云服务的资源。可信实体为天翼云服务的IAM委托，包括普通云服务委托和云服务关联委托。本文介绍函数计算的服务内联委托。 什么是服务内联委托 在某些场景下，函数计算为了完成自身的某个功能，需要获取其他云服务的访问权限，因此，函数计算创建了与云服务内联委托，即服务内联委托CtyunServiceDelegateRoleForFC。函数计算支持CtyunServiceDelegateRoleForFC和FaaS函数的绑定，实现最小授权范围内授予函数访问其他云服务的权限。 使用函数计算时，系统提供的服务内联委托及其包含的系统权限策略如下： 服务内联委托：CtyunServiceDelegateRoleForFC 系统权限策略：CtyunServiceInlineDelegateRolePolicyForFC CtyunServiceDelegateRoleForFC 服务内联委托CtyunServiceDelegateRoleForFC可以获取访函数列表、函数详情、创建函数、删除函数、更新函数以及调用函数的权限。 服务内联委托CtyunServiceDelegateRoleForFC被授予权限策略CtyunServiceInlineDelegateRolePolicyForFC，该权限策略的内容如下。 json { "Version": "1", "Statement": [ { "Action": [ "cf:inst:CreateFunction", "cf:inst:UpdateFunction", "cf:inst:ListFunction", "cf:inst:GetFunction", "cf:inst:InvokeFunction", "cf:inst:DeleteFunction" ], "Resource": "", "Effect": "Allow" } ] } 以下是使用函数计算时，需要创建和使用服务内联委托的场景： 为函数计算配置专有网络VPC、交换机或弹性网卡等，提升数据安全性，实现VPC内的网络互通。 访问容器镜像仓库拉取镜像创建容器镜像函数，能够利用容器镜像资源灵活部署函数。 配置消息队列或事件总线等消息服务的访问权限，使用函数计算监听消息源的事件。当有新的消息或事件产生时，可以直接触发函数执行，实现事件驱动的计算模型。 配置日志服务相关权限，允许自动收集函数执行日志，便于日志的搜索、分析和可视化展示，帮助用户快速定位问题。

本文介绍分布式消息服务RocketMQ入门指引的创建主题和订阅组内容。 背景信息 在实例创建完成后，需要创建主题和订阅组来进行消息实例的日常功能运转。 主题：在RocketMQ中，主题（Topic）是消息发布的逻辑分组。它类似于一个消息的分类或者标签，帮助用户将不同类型的消息进行归类和管理。通常情况下，一个主题可以包含多个消息生产者和多个消息消费者。通过使用主题，RocketMQ能够实现高效的消息发布和订阅机制，帮助用户更好地管理和组织消息。 订阅组：订阅组是 RocketMQ 中的一个重要概念，用于实现消息的发布与订阅模式。一个订阅组可以包含多个消费者实例，这些实例共同消费同一个主题下的消息。当消息被发送到主题时，订阅组中的每个消费者实例会按照一定规则来均衡地接收消息，并进行相应的处理。订阅组是 RocketMQ 提供的一种灵活且可扩展的方式，用于实现消息的发布与订阅模式，并保证消息在消费者之间的均衡分配和可靠处理。 集群：RocketMQ集群是一种由多个节点（或者称为Broker）组成的分布式消息中间件系统。每个节点都具有相同的功能并且可以处理和存储消息。通过将消息分发到不同的节点，RocketMQ集群能够实现高可用性和可伸缩性。通过使用RocketMQ集群，可以实现消息传输的并行处理、容错性和高可用性，满足高并发场景下的消息传递需求。 创建主题 1、 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2、 登录分布式消息服务RocketMQ控制台，点击右上角地域选择对应资源池。 3、 进入实例列表，点击【管理】按钮进入管理菜单。 4、 进入主题管理菜单，点击【新建主题】按钮 5、 在弹出的新建主题页面，填写如下字段信息 1）默认展示当前集群名称，不可修改。 2）选择主题所在的Broker，按照实例创建时候选择的主备节点对数列出每个broker，可复选。 3）填写主题名称，名字限制2到64个字符，超过限制会导致创建主题失败，用户创建主题只能包含大小写字母数字以及和符号。 4）按照实际需求填写主题备注。 5）填写每个Broker分区数，分区数必须大于0，小于等于8，创建严格顺序队列时，设置分区数为1，且只能选择一个Broker。 6）选择生产模式，RocketMQ是一个开源的分布式消息中间件，它支持两种消息生产模式：有序和无序。 有序消息生产模式（Ordered Message）是指按照特定规则将消息发送到相同的Message Queue中，并且确保消息在消费者端按照相同的顺序进行消费。这种模式适用于那些需要严格按照消息顺序进行处理的场景，比如订单处理、流程审批等。 无序消息生产模式（Unordered Message）是指消息发送到不同的Message Queue中，每个Queue都是独立的。消费者可以并行地从多个Queue中消费消息，而无需关心消息的顺序。这种模式适用于那些不需要严格按照消息顺序处理的场景，比如日志收集、异步通知等。 需要注意的是，无论是有序还是无序消息生产模式，RocketMQ都提供了高可靠性的消息传输和存储，并支持水平扩展和高吞吐量的特性。根据具体的业务需求，选择适合的消息生产模式能够更好地满足应用的要求。 7）选择主题的读写权限，支持读写、只读、只写3类权限。 8） 完成主题信息填写后，保存确认即可新增主题。 9） 若希望批量创建主题，可点击【批量创建】按钮 批量创建 注意：输入的主题名不要带空格等特殊字符。 通过上传csv文件,批量创建主题。格式：点击【主题模板】按钮下载。 主题模板 批量上传主题的模板，必须使用模板，才能够上传成功，模板格式如下：

常量字段 说明 从哪个位置开始消费 建议设置为：ConsumeFromWhere.CONSUMEFROMFIRSTOFFSET.name() 消费组名称 消费者必要 最大消费线程数 针对push模式，默认64 最小消费线程数 针对push模式，默认20 消费超时时间 1.默认不设或设置<0：表示不做超时处理，应用自己处理签收2.设置>0：表示一旦超过此消费超时时间（应用未做签收），客户端将自动签收失败，消息进入重试队列。 namesrv 地址必要，例如：127.0.0.1:9876;127.0.0.1:9876 namesrv 用户名必填 namesrv 密码必填 ClusterName 客户端订阅broker的集群名，默认defaultMQBrokerCluster TenantID 租户ID，默认defaultMQTenantID

功能 高级版 防护互联网边界的流量峰值（不可扩展） 100Mbps 200Mbps 2Gbps 四层吞吐量 1G 2G 4G IPSec VPN 吞吐量上限 100Mbps 200Mbps 500Mbps IPSec VPN 吞吐量上限 说明 IPSec VPN吞吐量是指防火墙在执行IPSec加解密处理时，单位时间内能够转发的最大数据量，由于VPN流量需要经过加密封装、完整性校验、隧道封装等一系列处理，相比普通防火墙转发会消耗更多的计算资源，因此IPSec VPN吞吐量通常低于防火墙的明文转发吞吐量。在极端场景下，由于所有流量可能被哈希到同一队列，实际吞吐量可能降至标称值的30%～50%左右。随着VPN隧道数量增加、会话多样性提升，流量在多队列间的分布会逐步趋于均衡，实际性能也随之接近标称值。 每秒数据包处理能力 200000 PPS 400000 PPS 2500000 PPS 防护互联网边界公网IP数 10个 说明 云防火墙（原生版）N100型号能够防护的弹性IP数量，一定程度上取决于防火墙的承载云主机能够绑定的虚拟IP数量，详情请参考虚拟私有云虚拟IP虚拟IP概述。 互联网边界访问控制 支持策略数：4000 支持策略数：6000 支持策略数：20000 VPC 间防火墙 ✓ ✓ ✓ 防病毒（AntiVirus） ✓ ✓ ✓ 入侵防御（IPS） ✓ ✓ ✓ 日志审计 ✓ ✓ ✓ 最大连接并发数 100K 250K 2500K 每秒新建连接数 20K 40K 80K

本章节主要介绍如何重置分布式消息服务RabbitMQ实例的密码。 操作场景 如果您忘记了创建实例时设置的密码，通过重置密码功能，重新设置一个新的密码，使用新密码连接RabbitMQ实例。 说明 只有处于“运行中”状态的RabbitMQ实例支持重置密码。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 此处请选择RabbitMQ实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”>“分布式消息服务”>“RabbitMQ专享版”，进入分布式消息服务RabbitMQ专享版页面。 步骤 4 通过以下任意一种方法，重置实例密码。 在待重置密码的实例所在行，单击“更多 > 重置密码”。 单击RabbitMQ实例名称，进入实例详情页面。单击右上角的“更多 > 重置密码”。 步骤 5 输入“新密码”和“确认密码”，单击“确定”完成密码重置。 重置密码成功，界面提示重置实例的密码成功。 重置密码失败，界面提示重置实例的密码失败，请重新尝试重置密码操作。如果多次重置失败，请联系客服处理。 说明 只有所有代理都重置密码成功，才会提示重置密码成功，否则会提示重置失败。

适用场景 客户在应用托管中部署自研应用/第三方模型，与现有弹性云主机、数据库等云资源联动协同，实现完整复杂业务流程。 产品优势 资源协同，性能高效：共池内网打通，应用托管与弹性云主机、数据库、消息队列等云服务实现低延迟、高带宽内网通信，同时内网访问更具安全保障。 业务整合成本低：已有公有云用户可直接复用弹性云主机、数据库等云上资源，无需额外迁移 / 重构，快速搭建完整业务架构，降低整合成本。 部署灵活，场景覆盖广：支持自定义模型服务、MCP Server、智能体应用、自定义业务应用等多类型部署，结合丰富的云产品，满足业务的全场景需求。

此小节介绍企业主机安全管理安全报告。 若需对已订阅的报告内容进行修改、取消或关闭订阅，该章节将指导您完成相关操作。 约束限制 未开启企业版、旗舰版、网页防篡改版、容器版防护不支持安全报告相关操作。 编辑安全报告 1、登录管理控制台。 2、在页面左上角单击选择“区域”，选择“安全>企业主机安全”，进入“企业主机安全”页面。 3、在弹窗界面单击“体验新版”，切换至主机安全服务页面。 说明 切换至新版后，在总览页左上角单击“返回旧版”，可切换至主机安全（旧版）。 4、左侧选择“安全报告”进入安全报告概览页面。服务预设了按月（default monthly security report）和按周（default weekly security report）统计的两个安全报告模板，可直接使用。 5、单击目标报告的“编辑”按钮，对报告进行编辑。 编辑报告 6、对报告基本信息进行编辑，参数说明如表所示。 编辑报告基本信息 报告基本信息参数说明 参数名称 参数说明 取值样例 报告名称 默认的报告名称。 default monthly security report 报告类型 报告的统计周期类型名称，不可编辑。 安全月报 报告发送时间 报告自动发送时间。 报告接收方式 生成的安全报告接收方式。 消息中心：使用消息中心和其它安全服务共同使用“安全事件通知”的信息接收人。需登录控制台，在右上角信箱查看。 消息主题：为HSS单独创建的主题，设置告警通知接收人。可选择短信或邮件通知。 无需发送到邮箱：不发送报告至邮箱。 消息中心 7、确认信息无误，单击页面右下角“下一步”，编辑报告内容。 8、在左侧勾选或取消报告项，右侧可预览，确认无误，单击“保存”，报告修改成功。

参数 说明 实例名称 RocketMQ实例名称是指在RocketMQ中创建的一个特定实例的名称。它可以用来唯一标识和区分不同的RocketMQ实例。根据RocketMQ的设计，实例名称通常由字母、数字和下划线组成，并且长度通常不超过255个字符。实例名称应该具有描述性，以便在多个RocketMQ实例存在时进行区分和管理。 实例ID RocketMQ实例ID是指在RocketMQ中创建的一个实例的唯一标识符。它是由系统自动生成的，用于区分不同的RocketMQ实例。实例ID可以用来管理和操作RocketMQ实例，例如创建、删除和修改实例等。实例ID通常由一串数字和字母组成，并且在RocketMQ集群中必须保持唯一性。 引擎类型 提供RocketMQ和CTGMQ两类引擎。 磁盘大小 购买实例选择的磁盘大小，通常为100G的整数倍。 磁盘类型 购买实例选择的磁盘类型，默认为SAS，也可选择更高的IO磁盘。 主机规格 购买实例选择的主机规格，主要展示CPU核数和内存大小，更多主机规格请参见产品规格。 broker节点数 RocketMQ的broker节点数是指在一个RocketMQ集群中扮演broker角色的节点数量。每个broker节点负责存储消息、处理消息的传输和消费者的请求等功能。 实例描述 用户根据需要可填写实例备注。 运行状态 实例当前运行状态，各状态描述见上文表格实例状态说明。 付费类型 创建实例时选择的付费类型，有包周期/按需两个选项。 创建时间 实例创建时间。 到期时间 包周期的实例到期时间，按需付费类型不展示。 专用网络 创建实例时绑定的VPC名称，详见订购前准备。 子网 创建实例时绑定的子网名称，详见订购前准备。 安全组 创建实例时绑定的安全组名称，详见订购前准备。 网络 VPC专用网络。 接入点 接入点具体VPC内网IP。 TPS监控 标识该集群所有Broker下，所有Topic的生产、消费TPS（2min）的时间变化曲线。 流量监控 标识该集群下，所有Topic的消费堆积情况，列表按倒序排列了堆积量最大的前20个Topic的堆积情况。 全局堆积 全局堆积是指消息在整个消息队列系统中的积压情况。 全局消息 标识该集群，所有Topic的生产情况，按现有消息量倒序排列。

关闭公网访问 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 此处请选择RabbitMQ实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”>“分布式消息服务”>“RabbitMQ专享版”，进入分布式消息服务RabbitMQ专享版页面。 步骤 4 单击待关闭公网访问的实例名称，进入实例详情页面。 步骤 5 单击“公网访问”右侧的，关闭公网访问开关。 步骤 6 单击，关闭公网访问功能。 关闭公网访问功能大约需要10~30秒，请耐心等待。关闭公网访问后，页面会自动跳转到“后台任务管理”页签，当任务状态为“成功”时，表示关闭公网访问成功。

本文介绍Kafka如何配置安全组 客户端只能部署在与Kafka实例处于相同虚拟私有云（VPC）和相同子网的弹性云主机（CTECS）上。 除了CTECS、Kafka实例必须处于相同VPC之外，还需要他们的安全组分别配置了正确的规则，客户端才能访问Kafka实例。 如果CTECS、Kafka实例配置相同的安全组，安全组创建后，默认包含组内网络访问不受限制的规则。 如果CTECS、Kafka实例配置了不同安全组，可参考如下配置方式： 说明 假设CTECS、Kafka实例分别配置了安全组：sgsCTECS、sgsKafka。 以Kafka访问端口9098为例，其它实例请以实际情况为准。 以下规则，远端可使用安全组，也可以使用具体的IP地址。 配置CTECS所在安全组。CTECS所在安全组需要增加如下出方向规则，以保证客户端能正常访问Kafka实例。如果出方向规则不受限，则不用添加。 配置Kafka实例所在安全组。Kafka实例所在安全组需要增加如下入方向规则，以保证能被客户端访问。

云产品 日志类型 备注 文本日志 文本日志 容器标准输出 容器文件日志 容器标准输出 容器文件日志 容器实例日志 数据库慢日志、错误日志 当前白名单试用中，如有需求请提交工单反馈。 数据库慢日志、错误日志 当前白名单试用中，如有需求请提交工单反馈。 数据库慢日志、错误日志 当前白名单试用中，如有需求请提交工单反馈。 数据库慢日志、错误日志 当前白名单试用中，如有需求请提交工单反馈。 数据库慢日志、错误日志 当前白名单试用中，如有需求请提交工单反馈。 访问日志 命令审计日志 <分布式消息服务Kafka> 重平衡日志 控制面（control plane）、数据面（sidecar）日志以及应用服务网格网关日志 函数调用日志 云服务操作日志 访问日志 会话日志 Elasticsearch、OpenSearch、Logstash实例日志，包括运行日志（含错误日志）、GC日志、慢索引日志、慢查询日志、Logstash运行日志 集群组件日志 微服务引擎云原生网关 网关访问日志 虚拟私有云VPC 流日志 当前白名单试用中，如有需求请提交工单反馈。 内网DNS DNS解析日志 SDWAN 流日志 当前白名单试用中，如有需求请提交工单反馈。 云安全中心 云堡垒机操作日志； 云防火墙威胁日志； 服务器安全卫士漏洞信息、弱口令、告警日志； 数据库审计日志； Web应用防火墙告警日志； 云等保专区V1.0日志 服务器安全卫士 告警日志 网页防篡改 告警日志

本节介绍如何使用的安全接入点接入Kafka的方法，文档以Java代码为例。 前提条件 已配置正确的安全组。 已获取连接Kafka实例的地址。 如果Kafka实例未开启自动创建Topic功能，在连接实例前，请先创建Topic。 已创建弹性云服务器，如果使用内网同一个VPC访问实例，请设置弹性云服务器的VPC、子网、安全组与Kafka实例的VPC、子网、安全组一致。 需要用户先在用户管理页面创建用户，然后给对应的topic授予生产消费权限。 使用内网同一个VPC访问，实例端口为8092，实例连接地址从控制台实例详情菜单处获取，如下图所示。 Maven中引入Kafka客户端 java Kafka实例基于社区版本2.8.2/3.6.2，推荐客户端保持一致。 org.apache.kafka kafkaclients 2.8.2/3.6.2 客户端关键参数 java Properties props new Properties(); props.put(ProducerConfig.BOOTSTRAPSERVERSCONFIG, BROKERADDR); props.put(ProducerConfig.VALUESERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.KEYSERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(CommonClientConfigs.SECURITYPROTOCOLCONFIG, "SASLPLAINTEXT"); props.put("sasl.mechanism", "SCRAMSHA512"); props.put(SaslConfigs.SASLJAASCONFIG, "org.apache.kafka.common.security.scram.ScramLoginModule required username"testuser" password"Kafka@Test";"); 生产者代码示例 java package com.justin.kafka.service.gw.sasl; import org.apache.kafka.clients.CommonClientConfigs; import org.apache.kafka.clients.producer.Callback; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.clients.producer.ProducerRecord; import org.apache.kafka.clients.producer.RecordMetadata; import org.apache.kafka.common.config.SaslConfigs; import org.apache.kafka.common.serialization.StringSerializer; import java.util.Properties; public class Producer { private final KafkaProducer producer; public final static String TOPIC "testtopic2"; public final static String BROKERADDR "192.168.0.11:8092,192.168.0.9:8092,192.168.0.10:8092"; public Producer() { Properties props new Properties(); props.put(ProducerConfig.BOOTSTRAPSERVERSCONFIG, BROKERADDR); props.put(ProducerConfig.VALUESERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.KEYSERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(CommonClientConfigs.SECURITYPROTOCOLCONFIG, "SASLPLAINTEXT"); props.put("sasl.mechanism", "SCRAMSHA512"); props.put(SaslConfigs.SASLJAASCONFIG, "org.apache.kafka.common.security.scram.ScramLoginModule required username"testuser" password"Kafka@Test";"); props.put(ProducerConfig.ACKSCONFIG, "all"); props.put("retries",3); producer new KafkaProducer<>(props); } public void produce() { try { for (int i 0; i (TOPIC, data), new Callback() { public void onCompletion(RecordMetadata metadata, Exception exception) { if (exception ! null) { // TODO: 异常处理 exception.printStackTrace(); return; } System.out.println("produce msg completed, partition id " + metadata.partition()); } }); } } catch (Exception e) { // TODO: 异常处理 e.printStackTrace(); } producer.flush(); producer.close(); } public static void main(String[] args) { Producer producer new Producer(); producer.produce(); } }

说明 分布式消息服务RocketMQ兼容了社区版 HTTP SDK，您可以使用社区版 HTTP SDK接入分布式消息服务RocketMQ。 前提条件： 1. 在PHP安装目录下的composer.json文件中加入社区PHP SDK 依赖。 2. 使用Composer安装依赖。 composer install 发送普通消息 client new MQClient( // 填写分布式消息服务RocketMQ控制台HTTP接入点 "${HTTPENDPOINT}", // 填写AccessKey，在管理控制台创建 "${ACCESSKEY}", // 填写SecretKey 在管理控制台创建 "${SECRETKEY}" ); // 所属的 Topic $topic "${TOPIC}"; // Topic所属实例ID，默认实例为空NULL $instanceId "${INSTANCEID}"; $this>producer $this>client>getProducer($instanceId, $topic); } public function run() { try { for ($i 1; $i putProperty("a", $i); // 设置消息KEY $publishMessage>setMessageKey("MessageKey"); $result $this>producer>publishMessage($publishMessage); print "Send mq message success. msgId is:" . $result>getMessageId() . ", bodyMD5 is:" . $result>getMessageBodyMD5() . "n"; } } catch (Exception $e) { printr($e>getMessage() . "n"); } }}$instance new NormalProducerExample();$instance>run();?> 消费普通消息 client new MQClient( // 填写分布式消息服务RocketMQ控制台HTTP接入点 "${HTTPENDPOINT}", // 填写AccessKey，在管理控制台创建 "${ACCESSKEY}", // 填写SecretKey 在管理控制台创建 "${SECRETKEY}" ); // 所属的 Topic $topic "${TOPIC}"; // 您在控制台创建的 Consumer ID(Group ID) $groupId "${GROUPID}"; // Topic所属实例ID，默认实例为空NULL $instanceId "${INSTANCEID}"; $this>consumer $this>client>getConsumer($instanceId, $topic, $groupId, "TagA"); } public function run() { // 在当前线程循环消费消息，建议是多开个几个线程并发消费消息 while (True) { try { // 长轮询消费消息 // 长轮询表示如果topic没有消息则请求会在服务端挂住3s，3s内如果有消息可以消费则立即返回 $messages $this>consumer>consumeMessage( 3, // 一次最多消费3条(最多可设置为16条) 3 // 长轮询时间3秒（最多可设置为30秒） ); } catch (MQExceptionMessageResolveException $e) { // 当出现消息Body存在不合法字符，无法解析的时候，会抛出此异常。 // 可以正常解析的消息列表。 $messages $e>getPartialResult()>getMessages(); // 无法正常解析的消息列表。 $failMessages $e>getPartialResult()>getFailResolveMessages(); $receiptHandles array(); foreach ($messages as $message) { // 处理业务逻辑。 $receiptHandles[] $message>getReceiptHandle(); printf("MsgID %sn", $message>getMessageId()); } foreach ($failMessages as $failMessage) { // 处理存在不合法字符，无法解析的消息。 $receiptHandles[] $failMessage>getReceiptHandle(); printf("Fail To Resolve Message. MsgID %sn", $failMessage>getMessageId()); } $this>ackMessages($receiptHandles); continue; } catch (Exception $e) { if ($e instanceof MQExceptionMessageNotExistException) { // 没有消息可以消费，接着轮询 printf("No message, contine long polling!RequestId:%sn", $e>getRequestId()); continue; } printr($e>getMessage() . "n"); sleep(3); continue; } print "consume finish, messages:n"; // 处理业务逻辑 $receiptHandles array(); foreach ($messages as $message) { $receiptHandles[] $message>getReceiptHandle(); printf("MessageID:%s TAG:%s BODY:%s nPublishTime:%d, FirstConsumeTime:%d, nConsumedTimes:%d, NextConsumeTime:%d,MessageKey:%sn", $message>getMessageId(), $message>getMessageTag(), $message>getMessageBody(), $message>getPublishTime(), $message>getFirstConsumeTime(), $message>getConsumedTimes(), $message>getNextConsumeTime(), $message>getMessageKey()); printr($message>getProperties()); } // $message>getNextConsumeTime()前若不确认消息消费成功，则消息会重复消费 // 消息句柄有时间戳，同一条消息每次消费拿到的都不一样 printr($receiptHandles); try { $this>ackMessages($receiptHandles); } catch (Exception $e) { if ($e instanceof MQExceptionAckMessageException) { // 某些消息的句柄可能超时了会导致确认不成功 printf("Ack Error, RequestId:%sn", $e>getRequestId()); foreach ($e>getAckMessageErrorItems() as $errorItem) { printf("tReceiptHandle:%s, ErrorCode:%s, ErrorMsg:%sn", $errorItem>getReceiptHandle(), $errorItem>getErrorCode(), $errorItem>getErrorCode()); } } } print "ack finishn"; } } public function ackMessages($receiptHandles) { try { $this>consumer>ackMessage($receiptHandles); } catch (Exception $e) { if ($e instanceof MQExceptionAckMessageException) { // 某些消息的句柄可能超时，会导致消费确认失败。 printf("Ack Error, RequestId:%sn", $e>getRequestId()); foreach ($e>getAckMessageErrorItems() as $errorItem) { printf("tReceiptHandle:%s, ErrorCode:%s, ErrorMsg:%sn", $errorItem>getReceiptHandle(), $errorItem>getErrorCode(), $errorItem>getErrorCode()); } } } }}$instance new ConsumerExample();$instance>run();?>

本文主要介绍准备实例依赖资源。 概述 在创建Kafka实例前，您需要提前准备相关依赖资源，包括虚拟私有云（Virtual Private Cloud，以下简称VPC）、子网和安全组，并配置安全组策略。每个Kafka实例都部署在某个VPC中，并绑定具体的子网和安全组，通过这样的方式为Kafka提供一个隔离的、用户自主配置和管理的虚拟网络环境以及安全保护策略，提升实例的安全性。 如果需要通过公网访问Kafka实例，请提前准备弹性IP地址。 准备依赖资源 Kafka实例所需资源的具体要求和创建指导如下表所示。 表 Kafka实例依赖资源 准备资源 要求 创建指导 ::: VPC和子网 不同的Kafka实例可以重复使用相同的VPC和子网，也可以使用不同的VPC和子网，请根据实际需要进行配置。 在创建VPC和子网时应注意如下要求： 创建的VPC与Kafka实例在相同的区域。 子网开启IPv6后，Kafka实例支持IPv6功能。Kafka实例开启IPv6后，客户端可以使用IPv6地址连接实例。 创建VPC和子网的操作指导请参考《虚拟私有云 用户指南》的创建虚拟私有云和子网。 安全组 不同的Kafka实例可以重复使用相同的安全组，也可以使用不同的安全组，请根据实际需要进行配置。 在创建安全组时应注意如下要求： 创建安全组时，“模板”选择“自定义”。 使用Kafka实例前，添加下表中的安全组规则，其他规则请根据实际需要添加。 说明 创建安全组后，系统默认添加入方向“允许安全组内的弹性云主机彼此通信”规则和出方向“放通全部流量”规则，此时使用内网通过同一个VPC访问Kafka实例，无需添加下表中的规则。 创建安全组的操作指导请参考《虚拟私有云 用户指南》的创建安全组，为安全组添加规则的操作指导请参考《虚拟私有云 用户指南》的添加安全组规则。 弹性IP地址 在创建弹性IP地址时，应注意如下要求： 创建的弹性IP地址与Kafka实例在相同的区域。 弹性IP地址的数量必须与Kafka实例的代理个数相同。 Kafka控制台无法识别开启IPv6转换功能的弹性IP地址。 创建弹性IP地址的操作指导请参考《弹性IP 用户指南》的“申请和绑定弹性IP”。 表 安全组规则 方向 协议 类型 端口 源地址 说明 入方向 TCP IPv4 9094 0.0.0.0/0 通过公网访问Kafka实例（明文接入）。 入方向 TCP IPv4 9092 0.0.0.0/0 使用内网通过同一个VPC访问Kafka实例（明文接入）。 使用对等连接跨VPC访问Kafka实例（明文接入）。 入方向 TCP IPv6 9192 ::/0 通过IPv6地址访问Kafka实例（关闭SSL加密）（内网和公网都适用）。 入方向 TCP IPv4 9095 0.0.0.0/0 通过公网访问Kafka实例（密文接入）。 入方向 TCP IPv4 9093 0.0.0.0/0 使用内网通过同一个VPC访问Kafka实例（密文接入）。 使用对等连接跨VPC访问Kafka实例（密文接入）。 入方向 TCP IPv6 9193 ::/0 通过IPv6地址访问Kafka实例（开启SSL加密）（内网和公网都适用）。 入方向 TCP IPv4 9011 198.19.128.0/17 通过VPC终端节点实现跨VPC访问Kafka实例（密文接入和明文接入都适用）。 入方向 TCP IPv4 9011 0.0.0.0/0 使用DNAT访问Kafka实例（密文接入和明文接入都适用）。

本章节主要介绍使用Kafka客户端 。 操作场景 用户可以在集群客户端完成Topic的创建、查询、删除等基本操作。 前提条件 已安装客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Kafka客户端（MRS 3.x之前版本） 1. 进入ZooKeeper实例页面： 单击集群名称，登录集群详情页面，选择“组件管理 > ZooKeeper > 实例”。 说明 若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 2. 查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 3. 登录安装客户端的节点。 4. 执行以下命令，切换到客户端目录，例如“/opt/hadoopclient/Kafka/kafka/bin”。 cd /opt/hadoopclient/Kafka/kafka/bin 5. 执行以下命令，配置环境变量。 source /opt/hadoopclient/bigdataenv 6. 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit Kafka用户 7. 创建一个Topic： sh kafkatopics.sh create topic 主题名称 partitions主题占用的分区数 replicationfactor主题的备份个数 zookeeper ZooKeeper角色实例所在节点IP 地址 : clientPort /kafka 例如：sh kafkatopics.sh create topic TopicTestpartitions 3replicationfactor 3 zookeeper 10.10.10.100:2181/kafka 8. 执行以下命令，查询集群中的Topic信息： sh kafkatopics.sh list zookeeper ZooKeeper角色实例所在节点IP 地址:clientPort /kafka 例如：sh kafkatopics.sh list zookeeper 10.10.10.100:2181/kafka 9. 删除7中创建的Topic： sh kafkatopics.sh delete topic主题名称 zookeeper ZooKeeper角色实例所在节点IP 地址 : clientPort /kafka 例如：sh kafkatopics.sh delete topic TopicTest zookeeper 10.10.10.100:2181/kafka 输入"y"，回车。

生产者代码示例 java package com.justin.kafka.service.gw.saslssl; import org.apache.kafka.clients.CommonClientConfigs; import org.apache.kafka.clients.producer.Callback; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.clients.producer.ProducerRecord; import org.apache.kafka.clients.producer.RecordMetadata; import org.apache.kafka.common.config.SaslConfigs; import org.apache.kafka.common.serialization.StringSerializer; import java.util.Properties; public class Producer { private final KafkaProducer producer; public final static String TOPIC "testtopic3"; public final static String BROKERADDR "192.168.0.11:8098,192.168.0.9:8098,192.168.0.10:8098"; public Producer() { Properties props new Properties(); props.put(ProducerConfig.BOOTSTRAPSERVERSCONFIG, BROKERADDR); props.put(ProducerConfig.VALUESERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.KEYSERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.ACKSCONFIG, "all"); props.put("retries",3); props.put(CommonClientConfigs.SECURITYPROTOCOLCONFIG, "SASLSSL"); props.put("sasl.mechanism", "SCRAMSHA512"); props.put(SaslConfigs.SASLJAASCONFIG, "org.apache.kafka.common.security.scram.ScramLoginModule required username"testuser" password"Kafka@Test";"); props.put("ssl.truststore.location","/kafka/client.truststore.jks"); props.put("ssl.truststore.password","sJses2tin1@23"); props.put("ssl.endpoint.identification.algorithm",""); producer new KafkaProducer<>(props); } public void produce() { try { for (int i 0; i (TOPIC, data), new Callback() { public void onCompletion(RecordMetadata metadata, Exception exception) { if (exception ! null) { // TODO: 异常处理 exception.printStackTrace(); return; } System.out.println("produce msg completed, partition id " + metadata.partition()); } }); } } catch (Exception e) { // TODO: 异常处理 e.printStackTrace(); } producer.flush(); producer.close(); } public static void main(String[] args) { Producer producer new Producer(); producer.produce(); } }

本章节主要介绍数据湖探索（DLI）的功能特性。 功能介绍 DLI用户可以通过可视化界面、Restful API、JDBC、Beeline等多种接入方式对云上RDS和DWS等异构数据源进行查询分析，数据格式兼容CSV、JSON、Parquet和ORC主流数据格式。 三大基本功能 SQL作业支持SQL查询功能：可为用户提供标准的SQL语句。 Flink作业支持Flink SQL在线分析功能：支持Window、Join等聚合函数、地理函数、CEP函数等，用SQL表达业务逻辑，简便快捷实现业务。 Spark作业提供全托管式Spark计算特性：用户可通过交互式会话(session)和批处理(batch)方式提交计算任务，在全托管Spark队列上进行数据分析。 多数据源分析 Spark跨源连接：可通过DLI访问DWS，RDS和CSS等数据源。 Flink跨源支持与多种云服务连通，形成丰富的流生态圈。数据湖探索的流生态分为云服务生态和开源生态： 云服务生态：数据湖探索在Flink SQL中支持与其他服务的连通。用户可以直接使用SQL从这些服务中读写数据。 开源生态：通过增强型跨源连接建立与其他VPC的网络连接后，用户可以在数据湖探索的租户独享队列中访问所有Flink和Spark支持的数据源与输出源，如Kafka、Hbase、ElasticSearch等。 存算分离 用户将数据存储到OBS后，DLI可以直接和OBS对接进行数据分析。存算分离的架构下，使得存储资源和计算资源可以分开申请和计费，降低了成本并提高了资源利用率。 存算分离场景下，DLI支持OBS在创建桶时数据冗余策略选择单AZ或者多AZ存储，两种存储策略区别如下： 选择多AZ存储，数据将冗余存储至多个AZ中，可靠性更高。选择多AZ存储的桶，数据将存储在同一区域的多个不同AZ。当某个AZ不可用时，仍然能够从其他AZ正常访问数据，适用于对可靠性要求较高的数据存储场景。建议优选使用多AZ存储的策略。 选择单AZ存储，数据仅存储在单个AZ中，但相比多AZ更加便宜。

本节介绍了在RabbitMQ实例中如何创建、修改和删除用户。 背景信息 客户端访问分布式消息服务RabbitMQ 版服务端时，需要传入用户名和密码进行权限认证，认证通过才允许访问服务端。 操作步骤 创建用户 1.登录管理控制台。 2.进入RabbitMQ管理控制台。 3.在实例列表页在操作列，目标实例行点击“管理”。 4.点击“集群管理”后点击“用户”到达用户管理页面，点击“新建”按钮。 5.点击“新建”后出现以下画面，输入用户密码后点击“确定”即可创建。 修改用户 1.在用户管理页面，在目标用户行点击“修改”，即可重置用户密码。 删除用户 1.在用户管理页面，在目标用户行点击“删除”，即可删除用户。 获取用户token 仅云原生引擎支持 （1）登录管理控制台。 （2）进入RabbitMQ管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“集群管理”后点击“用户”到达用户管理页面，点击“Token”按钮。 在RabbitMQ中，获取用户令牌（token）的作用如下： 认证和授权：用户令牌用于认证和授权用户对RabbitMQ的访问权限。通过获取有效的用户令牌，可以验证用户的身份，并根据其权限配置来限制或授予其对虚拟主机、队列、交换机等资源的访问权限。 安全性：通过使用用户令牌进行认证，可以增加RabbitMQ系统的安全性。只有具有有效令牌的用户才能访问和执行相应的操作，从而减少了未经授权的访问和潜在的安全风险。 资源管理：用户令牌可以用于管理和限制用户对RabbitMQ资源的使用。通过为每个用户分配独立的令牌，可以控制其对虚拟主机、队列、交换机等资源的使用情况，避免资源滥用或过度消耗。 追踪和审计：通过用户令牌，可以追踪和记录用户对RabbitMQ的操作和访问历史。这对于安全审计、故障排查和性能优化等方面非常有用，可以帮助管理员了解系统的使用情况和问题定位。 总之，获取用户令牌是为了实现认证、授权和安全性，以及对RabbitMQ资源的管理和追踪。通过令牌，可以确保只有经过授权的用户才能访问和操作RabbitMQ，提高系统的安全性和可管理性。

本文介绍如何在事件总线EventBridge管理控制台中添加分布式消息服务RocketMQ类型的自定义事件源。 前提条件 事件总线EventBridge 开通事件总线EventBridge并委托授权。 创建自定义总线。 分布式消息服务RocketMQ 开通分布式消息服务RocketMQ。 创建实例，并创建对应主题与消费组。 操作步骤 1. 登录事件总线管理控制台。 2. 在左侧导航栏，单击事件总线。 3. 在事件总线页面，单击目标总线名称。 4. 在左侧导航栏，单击事件源。 5. 在事件源 页面，单击添加事件源。 6. 在添加自定义事件源 面板，输入名称 和描述 ，事件提供方 选择分布式消息服务RocketMQ，选择实例、主题等配置然后单击确认，如图1所示。 图1 创建事件源时事件提供方选择分布式消息服务RocketMQ 参数说明 参数 说明 示例 名称 事件源名。 source1 实例名称 选择前提条件中已创建的分布式消息服务RocketMQ版实例。 xxx Topic 选择当前实例中的Topic。 topic1 Group 快速创建：自动创建以GIDEVENTBRIDGExxx命名的Group ID。 使用已有：选择当前实例中已创建的Group，请不要与已有业务的Group混用，以免影响已有的消息收发。 group1 消费位点 开始消费的位置。仅支持从最早位点进行消费。 最早位点：从最初位点开始消费。 最早位点

分布式消息服务RocketMQ版的事务消息支持在业务逻辑与发送消息之间提供事务保证，通过两阶段的方式提供对事务消息的支持，事务消息交互流程如图1所示。 图1 事务消息交互流程 事务消息生产者首先发送半消息，然后执行本地事务。如果执行成功，则发送事务提交，否则发送事务回滚。服务端在一段时间后如果一直收不到提交或回滚，则发起回查，生产者在收到回查后重新发送事务提交或回滚。消息只有在提交之后才投递给消费者，消费者对回滚的消息不可见。 收发事务消息前，请参考收集连接信息收集RocketMQ所需的连接信息。 准备环境 1. 在命令行输入python，检查是否已安装Python。得到如下回显，说明Python已安装。 PS C:> python Python 3.9.9 (tags/v3.9.9:ccb0e6a, Nov 15 2021, 18:08:50) [MSC v.1929 64 bit (AMD64)] on win32 Type "help", "copyright", "credits" or "license" for more information. 如果未安装Python，请使用以下命令安装： pip install rocketmqclientpython 2. 安装librocketmq库和rocketmqclientpython。 说明 建议下载rocketmqclientcpp2.2.0，获取librocketmq库。 3. 将librocketmq.so添加到系统动态库搜索路径。 1. 查找librocketmq.so的路径。 find / name librocketmq.so 2. 将librocketmq.so添加到系统动态库搜索路径。 ln s /查找到的librocketmq.so路径/librocketmq.so /usr/lib sudo ldconfig 以下示例代码中的参数说明如下，请参考收集连接信息获取参数值。 GROUP：表示消费组名称。 ENDPOINT：表示实例连接地址和端口。 TOPIC：表示Topic名称。

本章节主要介绍如何创建KafkaSSL类型跨源认证。 操作场景 通过在DLI控制台创建的KafkaSSL类型的跨源认证，将Kafka的认证信息存储到DLI，无需在SQL作业中配置帐号密码，安全访问Kafka实例。 说明 MRS Kafka开启Kerberos认证，未开启SSL认证时，创建Kerberos类型的认证。建表时通过krbauthname关联跨源认证。 MRS Kafka开启Kerberos认证，同时开启了SSL认证时，需要同时创建Kerberos和KafkaSSL类型的认证。建表时分别通过krbauthname和sslauthname关联跨源认证。 MRS Kafka未开启Kerberos认证，仅开启了SASL认证时（例如使用帐号密码认证PlainLoginModule场景），无需使用跨源认证。 MRS Kafka未开启Kerberos认证，仅开启了SSL认证时，创建KafkaSSL类型的认证。建表时通过sslauthname关联跨源认证。 MRS Kafka未开启Kerberos认证，开启了SASL认证和SSL认证时，创建KafkaSSL类型的认证。建表时通过sslauthname关联跨源认证。 操作步骤 1. 下载认证凭证。 DMS Kafka a.登录DMS Kafka控制台，单击实例名称进入详情页面。 b.在连接信息中，找到SSL证书，单击“下载”。 解压下载的kafkacerts压缩包，获取client.jks和phyca.crt文件。 MRS Kafka a.登录MRS Manager界面。 b.选择“系统 > 权限 > 用户”。 c.单击“更多 > 下载认证凭据”，保存后解压得到Truststore文件。 2. 上传认证凭证到OBS桶。 3. 创建跨源认证。 a.登录DLI管理控制台。 b.选择“跨源管理 > 跨源认证”。 c.单击“创建”。 填写Kafka认证信息，详细参数说明请参考下表。 参数说明 参数 参数说明 类型 选择KafkaSSL。 认证信息名称 所创建的跨源认证信息名称。 名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 输入长度不能超过128个字符。 Truststore路径 上传SSL Truststore文件的OBS路径。 MRS Kafka请填写Truststore.jks文件的OBS路径。 DMS Kafka请填写client.jks文件的OBS路径。 Truststore密码 truststore密码。 Keystore路径 上传SSL KEYSTORE(密钥和证书)文件的OBS路径。 Keystore密码 keystore(密钥和证书)密码。 Key密码 keystore中的私钥密码。 4. 访问开启SASLSSL认证的Kafka。 跨源认证创建成功后，在创建访问数据源时只需关联跨源认证即可安全访问数据源。

表类型 跨源认证类型 数据源 约束与限制 源表 Kerberos Kafka MRS Kafka开启Kerberos认证。 源表 KafkaSSL Kafka DMS Kafka开启SASLSSL认证。 MRS Kafka开启SASL认证。 MRS Kafka开启SSL认证。 结果表 Kerberos HBase MRS安全集群已开启Kerberos认证。 结果表 Kerberos Kafka MRS Kafka开启Kerberos认证。 结果表 KafkaSSL Kafka DMS Kafka开启SASLSSL认证。 MRS Kafka开启SASL认证。 MRS Kafka开启SSL认证。 结果表 Password DWS、RDS、CSS 维表 Password RDS、Redis

场景描述 RocketMQ的Topic是消息的逻辑分类单位，用于将消息进行分组和管理。创建Topic的场景可以根据具体业务需求来确定，以下是一些常见的场景描述： 消息发布与订阅：当需要实现消息发布与订阅模式时，可以创建一个主题来管理相关的消息。发布者可以将消息发送到该主题，而订阅者可以订阅该主题以接收感兴趣的消息。 事件驱动架构：在事件驱动的架构中，不同的模块之间通过事件进行通信。每个事件可以对应一个主题，模块可以将事件发送到相应的主题，其他模块可以订阅该主题以接收事件通知。 日志收集与分析：当需要收集大量的日志数据并进行分析时，可以创建一个主题来管理日志消息。日志产生者可以将日志消息发送到该主题，而日志消费者可以订阅该主题以进行实时分析或存储。 异步处理：当需要将某些操作异步处理时，可以创建一个主题来管理相关的异步消息。操作发起者可以将异步消息发送到该主题，而异步处理器可以订阅该主题以进行后续的异步处理。 分布式事务消息：在分布式系统中，当需要实现分布式事务消息时，可以创建一个主题来管理相关的事务消息。事务发起者可以将事务消息发送到该主题，而事务消费者可以订阅该主题以进行事务的处理和确认。 总的来说，创建主题的场景可以根据具体的业务需求来确定。主题可以帮助将消息进行逻辑分类和管理，实现不同的消息传递模式和业务场景。 新建Topic 1、 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2、 登录分布式消息服务RocketMQ控制台，点击右上角地域选择对应资源池。 3、 进入实例列表，点击【管理】按钮进入管理菜单。 4、 进入Topic管理菜单，点击【创建Topic】按钮 5、 在弹出的创建Topic页面，填写如下字段信息 1）默认展示当前集群名称，不可修改。 2）选择Topic所在的Broker，按照实例创建时候选择的主备节点对数列出每个Broker，可复选。 3）填写Topic名称，名字限制2到64个字符，超过限制会导致创建Topic失败，用户创建Topic只能包含大小写字母数字以及和符号。 4）按照实际需求填写Topic备注。 5）填写每个Broker分区数，分区数必须大于0，小于等于8，创建严格顺序队列时，设置分区数为1，且只能选择一个Broker。 6）选择生产模式，RocketMQ是一个开源的分布式消息中间件，它支持两种消息生产模式：有序和无序。 有序消息生产模式（Ordered Message）是指按照特定规则将消息发送到相同的Message Queue中，并且确保消息在消费者端按照相同的顺序进行消费。这种模式适用于那些需要严格按照消息顺序进行处理的场景，比如订单处理、流程审批等。 无序消息生产模式（Unordered Message）是指消息发送到不同的Message Queue中，每个Queue都是独立的。消费者可以并行地从多个Queue中消费消息，而无需关心消息的顺序。这种模式适用于那些不需要严格按照消息顺序处理的场景，比如日志收集、异步通知等。 需要注意的是，无论是有序还是无序消息生产模式，RocketMQ都提供了高可靠性的消息传输和存储，并支持水平扩展和高吞吐量的特性。根据具体的业务需求，选择适合的消息生产模式能够更好地满足应用的要求。 7）选择Topic的读写权限，支持读写、只读、只写3类权限。 8）完成Topic信息填写后，保存确认即可新增主题。 9）若希望批量创建Topic，可点击【导入Topic】按钮。 导入Topic 注意：输入的Topic名不要带空格等特殊字符。 通过上传csv文件,批量创建主题。格式：点击【下载模板】按钮下载。 Topic模板 批量上传Topic的模板，必须使用模板，才能够上传成功，模板格式如下： TopicName QueueNums Perm MessageType Topic1 4 6 NORMAL Topic2 1 6 FIFO Topic3 4 6 DELAY Topic4 4 6 TRANSACTION

本节介绍如何使用的公共接入点接入Kafka的方法，文档以Java代码为例。 前提条件 已配置正确的安全组。 已获取连接Kafka实例的地址。 如果Kafka实例未开启自动创建Topic功能，在连接实例前，请先创建Topic。 已创建弹性云服务器，如果使用内网同一个VPC访问实例，请设置弹性云服务器的VPC、子网、安全组与Kafka实例的VPC、子网、安全组一致。 使用内网同一个VPC访问，实例端口为8090，实例连接地址从控制台实例详情菜单处获取，如下图所示。 Maven中引入Kafka客户端 java Kafka实例基于社区版本2.8.2/3.6.2，推荐客户端保持一致。 org.apache.kafka kafkaclients 2.8.2/3.6.2 客户端关键参数 java Properties props new Properties(); props.put(ProducerConfig.BOOTSTRAPSERVERSCONFIG, BROKERADDR); props.put(ProducerConfig.VALUESERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.KEYSERIALIZERCLASSCONFIG, StringSerializer.class.getName()); 生产者代码示例 java package com.justin.kafka.service.gw.plain; import org.apache.kafka.clients.producer.Callback; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.clients.producer.ProducerRecord; import org.apache.kafka.clients.producer.RecordMetadata; import org.apache.kafka.common.serialization.StringSerializer; import java.util.Properties; public class Producer { private final KafkaProducer producer; public final static String TOPIC "testtopic"; public final static String BROKERADDR "192.168.0.11:8090,192.168.0.9:8090,192.168.0.10:8090"; public Producer() { Properties props new Properties(); props.put(ProducerConfig.BOOTSTRAPSERVERSCONFIG, BROKERADDR); props.put(ProducerConfig.VALUESERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.KEYSERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.ACKSCONFIG, "all"); props.put("retries",3); producer new KafkaProducer<>(props); } public void produce() { try { for (int i 0; i (TOPIC, data), new Callback() { public void onCompletion(RecordMetadata metadata, Exception exception) { if (exception ! null) { // TODO: 异常处理 exception.printStackTrace(); return; } System.out.println("produce msg completed, partition id " + metadata.partition()); } }); } } catch (Exception e) { // TODO: 异常处理 e.printStackTrace(); } producer.flush(); producer.close(); } public static void main(String[] args) { Producer producer new Producer(); producer.produce(); } }

本文以自建Elasticsearch 7.10.2版本迁移至天翼云Elasticsearch实例为例子,介绍如何使用天翼云Logstash实现迁移Elasticsearch实例的数据。 Logstash 是一个开源的数据处理管道工具，广泛用于数据收集、处理和传输。它通常作为“ELK Stack”（Elasticsearch、Logstash、Kibana、Beats）的一个核心组件，用于处理结构化和非结构化数据。 天翼云Logstash可以实现将源Elasticsearch实例（如天翼云、自建或第三方Elasticsearch实例）中的数据迁移至天翼云Elasticsearch实例。在升级实例版本、实例架构调整、或跨区域的实例数据迁移时，可以选择使用天翼云Logstash迁移源Elasticsearch实例数据。 Logstash的方式迁移数据支持跨大版本，且迁移方式灵活，下表是支持的集群版本： 源目标 Elasticsearch7.10.2 OpenSearch Elasticsearch6.x √ √ Elasticsearch7.x小于7.10.2 √ √ Elasticsearch7.x大于7.10.2 √ √ Elasticsearch8.x √ √ 本文以自建Elasticsearch 7.10.2版本迁移至天翼云Elasticsearch实例为例子。 前提条件 已经创建天翼云Elasticsearch实例。 已经在创建的Elasticsearch实例中加装了Logstash实例。 加装Logstash能够通过内网或公网访问需要迁移的源Elasticsearch实例。 Logstash工作模型 Logstash工作模型核心部分为三部分：输入（Input）、过滤器（Filter）、输出（Output），按照配置管道文件的顺序对数据进行提取、处理转换、输出。 1.输入（Input）：Logstash支持多种数据输入源，如文件、数据库、消息队列以及Elasticsearch等。在我们的场景中，源Elasticsearch实例就是输入数据源。Logstash会批量提取源Elasticsearch实例中的数据。 2.过滤器（Filter）：过滤器是可选的，用于对输入数据进行实时处理和转换。它提供了一些强大的插件，可以对数据进行解析、变换、裁剪或其他操作。在我们的场景中，可以选择是否使用过滤器来处理迁移中的数据，例如删除源数据中不需要迁移的字段等操作。 3.输出（Output）：Logstash的输出插件负责将处理后的数据写入到目标位置，这可以是文件、数据库、消息队列，或者像本例中的天翼云Elasticsearch实例。

本章节主要介绍创建Flink SQL作业 。 Flink SQL是一种由用户根据自己的逻辑需求编写作业的方式。用SQL表达业务逻辑，可以简便快捷的实现业务。目前Flink SQL作业支持两种Flink SQL语句编辑方式：SQL编辑器和可视化编辑器。本章节主要介绍使用SQL编辑器编写Flink SQL作业的方式。 前提条件 创建Flink SQL作业时，需要事先准备数据源以及数据输出通道，具体内容请参见准备Flink作业数据。 创建Flink SQL作业，访问其他外部数据源时，如访问OpenTSDB、HBase、Kafka、DWS、RDS、CSS、CloudTable、DCS Redis、DDS Mongo等，需要先创建跨源连接，打通作业运行队列到外部数据源之间的网络。 1. 当前Flink作业支持访问的外部数据源详情请参考增强型跨源连接概述。 2. 创建跨源连接操作请参见增强型跨源连接。创建完跨源连接后，可以通过“队列管理”页面，单击“操作”列“更多”中的“测试地址连通性”，验证队列到外部数据源之间的网络连通是否正常。详细操作可以参考测试地址连通性。 创建FLink SQL作业 1. 在DLI管理控制台的左侧导航栏中，单击“作业管理”>“Flink作业”，进入“Flink作业”页面。 2. 在“Flink作业”页面右上角单击“创建作业”，弹出“创建作业”对话框。 3. 配置作业信息。 详见下表：作业配置信息 参数 参数说明 类型 选择“Flink SQL”：用户通过编辑SQL语句来启动作业。 名称 作业名称，只能由字母、中文、数字、中划线和下划线组成，并且长度为1～57字节。 说明 作业名称必须是唯一的。 描述 作业的相关描述，长度为0～512字节。 模板名称 用户可以选择样例模板或自定义的作业模板。关于模板的详细信息，请参见Flink模板管理。 4. 单击“确定”，进入作业“编辑”页面。 5. 编辑SQL作业。 在SQL语句编辑区域，输入详细的SQL语句。相关SQL语句请参考《数据湖探索SQL语法参考》。 6. 单击“语义校验”，确保语义校验成功。 只有语义校验成功后，才可以执行“调试”或“启动”作业的操作。 如果校验成功，提示“SQL语义校验成功”。 如果校验失败，会在错误的SQL语句前面显示红色的“X”记号，鼠标移动到“X”号上可查看详细错误，请根据错误提示修改SQL语句。 7. 设置作业运行参数 参见下表：作业运行参数说明 参数 参数说明 所属队列 默认选择“共享队列”，用户也可以选择自定义的独享队列。 说明 当子用户在创建作业时，子用户只能选择已经被分配的队列。 当所选择队列的剩余容量不能满足作业需求时，系统会自动扩容。当队列空闲时，系统也会自动缩容。 UDF Jar 选择“独享队列”时可配置该参数。 用户自定义UDF文件，在选择UDF Jar之前需要将对应的jar包上传至OBS桶中，并在“数据管理>程序包管理”中创建程序包，具体操作请参考创建程序包。 用户可以在SQL中调用插入Jar包中的自定义函数。 CU数量 CU数量为DLI的计算单元数量和管理单元数量总和，1CU1核4G。 当前配置的CU数量为运行作业时所需的CU数，不能超过其绑定队列的CU数量。 管理单元 管理单元CU数量。 并行数 并行数是指同时运行Flink SQL作业的最大任务数。适度增加并行数会提高作业整体算力，但也须考虑线程增多带来的切换开销。 说明 最大并行数不能大于计算单元（CU数量管理单元）的4倍。 该界面并行数优先级低于代码中并行数设置。 TaskManager配置 用于设置TaskManager资源参数。 勾选后需配置下列参数： “单TM所占CU数”：每个TaskManager占用的资源数量。 “单TM Slot”：每个TaskManager包含的Slot数量。 OBS桶 选择OBS桶用于保存用户作业日志信息、checkpoint等信息。如果选择的OBS桶是未授权状态，需要单击“OBS授权”。 说明 如果同时勾选了“开启Checkpoint”和“保存作业日志”，OBS授权一次即可。 保存作业日志 设置是否将作业运行时的日志信息保存到OBS。日志信息的保存路径为：“桶名/jobs/logs/作业id开头的目录”。在作业列表中，单击对应的作业名称，在“运行日志”页签，可以单击页面提供的OBS链接跳转至对应的路径下。 注意 该参数建议勾选，否则作业运行完成后不会生成运行日志，后续如果作业运行异常则无法获取运行日志进行定位。 勾选后需配置下列参数： “OBS桶”：选择OBS桶用于保存用户作业日志信息。如果选择的OBS桶是未授权状态，需要单击“OBS授权”。 说明 如果同时勾选了“开启Checkpoint”和“保存作业日志”，OBS授权一次即可。 作业异常告警 设置是否将作业异常告警信息，如作业出现运行异常或者欠费情况，以SMN的方式通知用户。 勾选后需配置下列参数： “SMN主题”： 选择一个自定义的SMN主题。如何自定义SMN主题，请参见《消息通知服务用户指南》中“创建主题”章节。 开启Checkpoint 设置是否开启作业快照，开启后可基于Checkpoint（一致性检查点）恢复作业。 勾选后需配置下列参数： “Checkpoint间隔”：Checkpoint的时间间隔，单位为秒，输入范围1~999999，默认值为30s。 “Checkpoint模式”：支持如下两种模式： − At least once：事件至少被处理一次。 − Exactly once：事件仅被处理一次。 “OBS桶”：选择OBS桶用于保存用户Checkpoint。如果选择的OBS桶是未授权状态，需要单击“OBS授权”。 Checkpoint保存路径为：“桶名/jobs/checkpoint/作业id开头的目录”。 说明 如果同时勾选了“开启Checkpoint”和“保存作业日志”，OBS授权一次即可。 异常自动重启 设置是否启动异常自动重启功能，当作业异常时将自动重启并恢复作业。 勾选后需配置下列参数： “异常重试最大次数”：配置异常重试最大次数。单位为“次/小时”。 − 无限：无限次重试。 − 有限：自定义重试次数。 “从Checkpoint恢复”：需要同时勾选“开启Checkpoint”才可配置该参数。 空闲状态保留时长 用于清除GroupBy或Window经过最大保留时间后仍未更新的中间状态，默认设置为1小时。 脏数据策略 选择处理脏数据的策略。支持如下三种策略：“忽略”，“抛出异常”和“保存”。 说明 “保存”是指将脏数据保存到OBS桶中。 脏数据转储地址 “脏数据策略”选择“保存”时，配置该参数。单击地址框选择保存脏数据的OBS路径。 8. （可选）根据需要调试参数。作业调试功能只用于验证SQL逻辑，不会有数据写入操作。 具体操作请参见 调试Flink作业。 9. （可选）根据需要设置自定义配置。自定义配置为用户自定义。 10. 单击“保存”，保存作业和相关参数。 11. 单击“启动”，进入“启动Flink作业”页面，确认作业规格后，单击“立即启动”，启动作业。 启动作业后，系统将自动跳转到Flink作业管理页面，新创建的作业将显示在作业列表中，在“状态”列中可以查看作业状态。作业提交成功后，状态将由“提交中”变为“运行中”。运行完成后显示“已完成”。 如果作业状态为“提交失败”或“运行异常”，表示作业提交或运行失败。用户可以在作业列表中的“状态”列中，将鼠标移动到状态图标上查看错误信息，单击可以复制错误信息。根据错误信息解决故障后，重新提交。 说明 其他功能按钮说明如下： 另存为：将新建作业另存为一个新作业。 调试：对作业进行调试。具体操作请参见 格式化：对SQL语句进行格式化。 设为模板：将新创建的作业设置为作业模板。 主题设置：设置页面主题，可以设置字体大小，自动换行和页面风格。

本节介绍分布式消息服务Kafka客户端参数配置 根据实际业务场景，客户端参数配置适当的值，客户端参数列表及说明如下所示： 表1.生产者客户端 参数 说明 retries 消息发送失败时的重试次数。 retry.backoff.ms 消息发送失败时的重试间隔，建议设置为1000。单位：毫秒。 acks 发送消息的持久化机制。为了提升发送性能， 建议设置为acks1。acks0：无需服务端的Response，性能较高、丢数据风险较大。acks1：服务端主节点写成功即返回Response，性能中等、丢数据风险中等、主节点宕机可能导致数据丢失。acksall：服务端主节点写成功且备节点同步成功才返回Response，性能较差、数据较为安全、主节点和备节点都宕机才会导致数据丢失。 batch.size 发往每个分区的消息缓存量。达到设置的数值时，就会触发一次网络请求，然后Producer客户端把消息批量发往服务器。如果batch.size设置过小，有可能影响发送性能和稳定性。建议保持默认值16384。单位：字节。 linger.ms 每条消息在缓存中的最长时间。若超过这个时间，Producer客户端就会忽略batch.size的限制，立即把消息发往服务器。建议根据业务场景， 将linger.ms设置在100~1000之间。单位：毫秒。 partitioner.class 设置分区策略。建议采用粘性分区策略，可提升发送性能。发送客户端2.4及以上版本，默认采用粘性分区策略模式。 buffer.memory 发送的内存池大小。如果内存池设置过小，则有可能导致申请内存耗时过长，从而影响发送性能，甚至导致发送超时。建议buffer.memory ≧ batch.size 分区数 2。单位：字节。 表2.消费者客户端参数 参数 说明 fetch.min.bytes 消费者从服务端获取数据的最小字节数。设置该参数时请尽量评估消息发送端的消息量，若设置过大可能会导致消费端延迟增大，过小可能会导致消费端频繁拉取消息。单位：字节。 fetch.max.wait.ms 服务端等待的最大时间。单位：毫秒。如果使用Local存储引擎，配置了fetch.min.bytes参数，服务器会等待足够的数据才会返回。超过此时间即使没有足够数据也会返回。如果是云存储引擎，一旦有新数据发送进来， 服务器就会结束等待，不需要等待fetch.min.bytes的值。 max.partion.fetch.bytes 每个分区返回的最大字节数。单位：字节。 session.timeout.ms 消费端发送心跳的时间间隔，如果在心跳时间间隔内没有发送心跳，则服务端会认为消费者死亡，从而触发Rebalance，Rebalance期间客户端将会停止消费数据等待Rebalance完成。建议将此参数设置为3000060000。单位：毫秒。默认有效值：6000300000。 max.poll.records 每次Poll获取的最大消息数量，若此值设置过大则需要尽快处理业务逻辑，避免处理过慢影响下一次Poll数据，从而导致在session.timeout.ms时间内没有发送心跳引起Rebalance。建议该值小于 的值。重要 在Java Client 0.10.1及其以上版本有单独的线程发送心跳，小于此版本或者其他语言的客户端都需考虑处理数据时间和发送心跳的间隔，防止频繁Rebalance影响正常消费。 max.poll.interval.ms 最大的Poll间隔时间，仅在Java Client 0.10.1及其以上版本需配置该参数。如果在间隔时间内消费者没有发送Poll请求，即使在session.timeout.ms参数设置的时间内发送了心跳。服务端也会认为消费者死亡，从而触发Rebalance。因此需注意此值需要合理设置，建议该值大于 的值。通常使用默认值即可。单位：毫秒。默认值：300000。 enable.auto.commit 是否采用自动提交位点机制。true：默认采用自动提交机制。false：不采用自动提交机制。默认值：true。 auto.commit.interval.ms 自动提交位点时间间隔。默认值为1000，单位：毫秒。 auto.offset.reset 消费位点重置策略。latest：从最大位点开始消费。earliest：从最小位点开始消费。none：不做任何操作，即不重置。说明建议设置成latest，而不要设置成earliest，避免因位点非法时从头开始消费，从而造成大量重复。如果是您自己管理位点，可以设置为none。