环境安装 1. 安装Python。（Python版本为2.7或3.X。） 2. 安装依赖库。（使用公网连接需要安装confluentkafka 1.9.2及以下版本的依赖库） pip install confluentkafka1.9.2 3. 下载Demo包kafkaconfluentpythondemo.zip。 配置修改 1. 如果是ssl连接，需要在控制台下载证书。并且解压压缩包得到ssl.client.truststore.jks，执行以下命令生成caRoot.pem文件。 keytool importkeystore srckeystore ssl.client.truststore.jks destkeystore caRoot.p12 deststoretype pkcs12 openssl pkcs12 in caRoot.p12 out caRoot.pem 2. 修改setting.py文件。（calocation仅在ssl连接时需要配置） kafkasetting { 'bootstrapservers': 'XXX', 'topicname': 'XXX', 'groupname': 'XXX' } 生产消息 发送以下命令发送消息。 python kafkaproducer.py 生产消息示例代码如下： from confluentkafka import Producer import setting conf setting.kafkasetting """初始化一个 Producer 对象""" p Producer({'bootstrap.servers': conf['bootstrapservers']}) def deliveryreport(err, msg): """ Called once for each message produced to indicate delivery result. Triggered by poll() or flush(). """ if err is not None: print('Message delivery failed: {}'.format(err)) else: print('Message delivered to {} [{}]'.format(msg.topic(), msg.partition())) """异步发送消息""" p.produce(conf['topicname'], "Hello".encode('utf8'), callbackdeliveryreport) p.poll(0) """在程序结束时，调用flush""" p.flush() 消费消息 发送以下命令消费消息。 python kafkaconsumer.py 消费消息示例代码如下： from confluentkafka import Consumer, KafkaError import setting conf setting.kafkasetting c Consumer({ 'bootstrap.servers': conf['bootstrapservers'], 'group.id': conf['groupname'], 'auto.offset.reset': 'latest' }) c.subscribe([conf['topicname']]) while True: msg c.poll(1.0) if msg is None: continue if msg.error(): if msg.error().code() KafkaError.PARTITIONEOF: continue else: print("Consumer error: {}".format(msg.error())) continue print('Received message: {}'.format(msg.value().decode('utf8'))) c.close()

本节主要介绍分布式消息服务Kafka常用术语解释。 代理（Broker） kafka集群包含一个或多个消息处理服务器，该服务器成为Broker，提供数据刷盘等核心功能。可以横向扩展、在线扩容以提高集群性能。 主题（Topic） 每条发布到Kafka 集群的消息都有一个主题，这个主题被称为 Topic。通过 Topic 可以对消息进行分类。每个 Topic 可以由一个或多个分区（Partition）组成，存储于一个或多个Broker 上。 分区（partition） 消息分区是物理上的概念，一个Topic可以分为多个partition，每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id（offset）。 生产者（Producer） 消息和数据生成者，一般为应用调用API进行消息生产，并向Kafka的一个Topic发布消息。 消费者（Consumer） 消息订阅者，也成为消息消费者，负责向 Kafka Broker 读取消息并进行消费。 消费组（Consumer Group） 一类Consumer的集合名称，这类Consumer通常消费一类消息，且消费逻辑一致，Consumer Group 和 Topic 的关系是 N：N，同一个 Consumer Group 可以订阅多个 Topic，同一个 Topic 也可以被多个 Consumer Group 订阅。

参数 描述 区域 资源所在的区域。 说明 不同区域内的产品内网不互通，且创建后不能更换，请谨慎选择。 数据库引擎 PostgreSQL。 数据库版本 请参见 实例类型+可用区 主备：一主一备的经典高可用架构。适用于大中型企业的生产数据库，覆盖互联网、物联网、零售电商、物流、游戏等行业应用。备机提高了实例的可靠性，创建主机的过程中，同步创建备机，备机创建成功后，用户不可见。 可用区指在同一区域下，电力、网络隔离的物理区域，可用区之间内网互通，不同可用区之间物理隔离。 RDS支持在同一个可用区内或者跨可用区部署数据库主备实例，以提供故障切换能力和高可用性。 单机：采用单个数据库节点部署架构，与主流的主备实例相比，它只包含一个节点，但具有高性价比。适用于个人学习、微型网站以及中小企业的开发测试环境。 存储类型 实例的存储类型决定实例的读写速度。最大吞吐量越高，读写速度越快。

事务消息 消息队列 RocketMQ 提供类似 X/Open XA 的分布式事务功能。半事务消息发送后，根据预设的事务进行判断，满足事务的消息将会被服务端确认，不满足的事务的消息不会被服务端接收，从而实现在分布式场景下保障消息生产和本地事务的最终一致性。 半消息： 暂不能投递的消息，发送方已经将消息成功发送到了消息队列服务端，但是服务端未收到生产者对该消息的二次确认，此时该消息被标记成“暂不能投递”状态，处于该种状态下的消息即半消息。 消息回查： 由于网络闪断、生产者应用重启等原因，导致某条事务消息的二次确认丢失，消息队列 RocketMQ服务端通过扫描发现某条消息长期处于“半消息”时，需要主动向消息生产者询问该消息的最终状态（Commit 或是 Rollback），该过程即消息回查。 延时消息 生产者将消息发送到消息队列RocketMQ服务端，设置消费时延，在预设的时间后才可以被消费者消费。发送延时消息时需要设定一个延时时间长度，消息将从当前发送时间点开始延迟固定时间之后才开始投递，实现分布式场景的延时调度触发效果。 广播消费/集群消费 广播消费：在广播消费模式下，一条消息被多个Consumer消费，即使这些Consumer属于同一个ConsumerGroup，消息也会被ConsumerGroup中的每个Consumer都消费一次，广播消费中的ConsumerGroup 概念可以认为在消息划分方面无意义。 集群消费：一个Topic可以被一个或多个ConsumerGroup消费，每个ConsumerGroup有自己独立的消费进度，消费进度是保存在服务端的。 一个ConsumerGroup中的消费者实例可以平均分摊消费消息，做到负载均衡。例如某个Topic有9条消息，其中一个ConsumerGroup有3个不同的消费者实例（可能是3个进程，或者3台机器），那么每个实例只消费其中的3条消息。在此消费模式下，可以做到PointToPoint的消费，也可以做到JMS里面广播消费，能满足绝大部分场景，推荐使用此消费模式。

本节适用于南京3、上海7、重庆2、乌鲁木齐27、保定、石家庄20、内蒙6、晋中、北京5 节点。 概览界面如下图： 表格：显示的是当前集群的统计详情，里面包含该集群的主从broker节点数量，生产组和消费组的数量，以及整个集群累计存储消息量。 各字段释义如下表所示： 字段名称 说明 集群名称 RocketMQ集群是指将多个RocketMQ Broker节点组合在一起形成的一个集群系统。 nameserv地址 Namesrv地址概念指的是在使用RocketMQ时，客户端需要连接到Namesrv来获取Broker节点的路由信息，以便能够发送和接收消息。 主broker 主Broker（Master Broker）是指在一个Broker集群中充当主要角色的节点。 从broker 从Broker（Slave Broker）是指作为主Broker的备份节点，用于实现消息的冗余和故障转移。 生产组数量 展示该实例下生产组数量。 消费组数量 展示该实例下消费组数量。 历史消息量 展示该实例下历史消息量。 现有消息量 展示该实例下现有消息量。 TPS监控 RocketMQ的TPS监控指的是对RocketMQ消息中间件每秒处理的消息数量进行监控和统计。TPS即每秒事务数（Transactions Per Second），用于衡量系统在单位时间内能够处理的事务数量。 RocketMQ TPS监控可以帮助用户了解消息中间件的处理能力和性能状况，在系统运行期间，通过监控数据可以及时发现潜在的性能问题或瓶颈，以便进行调优或扩展。一般来说，吞吐量越高，表示系统的处理能力越强。 分布式消息服务RocketMQ标识该集群所有broker下，所有topic的生产、消费tps(2min)的时间变化曲线。

镜像类型 说明 提供版本 Centos CentOS是一种基于开源代码的操作系统，它是以Red Hat Enterprise Linux（RHEL）为基础的免费发行版本。CentOS致力于提供企业级的稳定性、可靠性和兼容性，并长期提供安全更新和支持。 CentOS7.6 64位 CentOS7.7 64位 CentOS7.8 64位 CentOS8.0 64位 CentOS8.1 64位 CentOS8.2 64位 CentOS8.4 64位 Ubuntu Ubuntu是一种基于开源Linux的操作系统，以简单易用、稳定可靠和强大的社区支持而闻名。它提供直观友好的用户界面和广泛的软件选择，通过APT包管理工具轻松安装、更新和删除软件包。 Ubuntu 18.04 64位 Ubuntu 20.04 64位 Ubuntu 22.04 64位 Windows Windows操作系统是由微软公司开发和发布的操作系统，广泛应用于个人计算机和企业环境。它提供了直观的用户界面、丰富的应用程序和广泛的硬件兼容性，使用户能够轻松地进行日常任务、娱乐和生产工作。 Windows Server 2008 标准版 64位中文版 Windows Server 2008 企业版 R2 64位中文版 Windows Server 2012 标准版 R2 64位中文版 Windows Server 2012 数据中心版 R2 64位中文版 Windows Server 2016 标准版 R2 64位中文版 Windows Server 2016 数据中心版 64位中文版 Windows Server 2019 数据中心版 64位中文版 Windows Server 2022 数据中心版 64位中文版

本文主要介绍通用类 问题 什么是容器镜像服务 容器镜像服务（SoftWare Repository for Container，简称SWR）是一种支持容器镜像全生命周期管理的服务，提供简单易用、安全可靠的镜像管理功能，帮助用户快速部署容器化服务。 什么是组织？ 组织用于隔离镜像仓库，每个组织可对应一个公司或部门，将其拥有的镜像集中在该组织下。 同一用户可属于不同的组织。容器镜像服务支持为组织中不同用户分配相应的访问权限（读取、编辑、管理）。 容器镜像服务是否收费？ 容器镜像服务暂不收费，目前可免费使用。 SWR最多能存储多少个镜像？ SWR目前对上传的镜像数量没有限制，您可以根据需要上传镜像。 容器镜像服务的带宽多大？ 容器镜像服务的带宽会根据用户使用情况动态变化。 容器镜像服务的配额是多少？ 容器镜像服务对镜像数量没有配额限制，您可以根据需要上传镜像。 容器镜像服务对单个用户的组织数量限定了配额。如您需要添加更多的组织，请提交工单申请。 表 容器镜像服务配额 资源类型 配额 组织 5 长期有效的登录指令与临时登录指令的区别是什么？ 临时的登录指令代指6个小时后会过期失效，不能再被使用的登录指令。可应用在临时使用，对外单次授权等场景中，对安全性要求较高的生产集群也可通过定时刷新的方式进行使用。 长期有效的登录指令有效期为永久。可应用在前期测试、CICD流水线及容器集群拉取镜像等场景中。 获取了长期有效的登录指令后，在有效期内的临时登录指令仍然可以使用。 长期有效的登录指令与临时登录指令均不受限制，可以多台机器多人同时登录。

本文介绍了使用分布式消息服务RocketMQ过程中涉及的基本概念,方便您查询和了解相关概念。 Broker 消息中转角色，负责存储消息，转发消息，一般也称Server。在 JMS规范中称为Provider。RocketMQ一般在多个服务器部署Broker集群，从而达到分布式、高可用、可横向扩展的目的。 Nameserver Nameserver是一个几乎无状态节点，可集群部署，节点之间无同步信息。它主要提供Broker注册、Topic路由管理等功能。 Topic 在RocketMQ中，Topic类似于JMS规范中的队列，所有消息都是存放在不同的Topic中，生产者与消费者都以Topic名字进行生产与消费。(注：RocketMQ的Topic并不是JMS规范中广播消费Topic的概念)。 一个Topic可以存在多个Broker之中，这样Topic就可以分布在不同的Broker从而达到分布式的目的。 一个Topic下面，可以有多个队列，可以理解成分区，Topic的消息是放在不同队列下的。 Queue 在RocketMQ中，Queue是存放数据的最小单位，Queue是存在于Topic下面的。在RocketMQ中，Queue不同于JMS规范中的队列，可以理解为Topic的分区。 生产组 一类Producer的集合名称，这类Producer通常发送一类消息，且发送逻辑一致，一般由业务系统负责产生消息。 消费组 一类Consumer的集合名称，这类Consumer通常消费一类消息，且消费逻辑一致，一般是后台系统负责异步消费。消费进度由存储在消费组上。 消费者实例 一个消费者实例代表消费组的一员，不同的消费者用不同的实例名字创建。

本节介绍了实例使用规范。 数据库连接 RDS for PostgreSQL是进程架构，每个客户端连接都对应一个后端服务进程。 根据业务的复杂度，合理配置“maxconnections”，例如，参考pgtune： WEB应用：“maxconnections ”配置为200 OLTP应用：“maxconnections”配置为300 数据仓库：“maxconnections”配置为40 桌面应用：“maxconnections”配置为20 混合应用：“maxconnections”配置为100 根据业务需要限制单个用户的最大连接数。 ALTER ROLE xxx CONNECTION LIMIT xxx; 保持合理的活跃连接数，建议活跃连接数为CPU数量的2~3倍。 避免长事务，长事务会阻塞autovacuum等，导致出现性能问题。 避免长连接，长连接的缓存可能较大，导致内存不足，建议定期释放长连接。 检查应用程序框架，避免应用程序自动begin事务，但不做任何操作。 只读实例 避免长事务，长事务容易导致查询冲突，影响回放。 对实时性有要求的实例，建议配置“hotstandbyfeedback”，同时根据业务设置“maxstandbystreamingdelay”为合理的值。 监控长事务、长连接和复制延迟，出现问题及时处理。 只读实例为单节点，不提供高可用能力，连接只读实例的应用程序应该具备切换到其他节点的能力。 可靠性、可用性 生产数据库的实例类型务必选择主备类型。 生产数据库的CPU、内存、磁盘要有一定的冗余，正常使用保持在70%以下，防止出现OOM、磁盘满等异常问题。 将主、备机部署在不同可用区内，增加可用性。 将周期性备份设置到业务低峰期，并且不要关闭全量备份。 建议将主备的复制模式设置为“异步”，防止备机故障阻塞主机业务。 业务上需要关注临时文件大小与生成速率指标。若临时文件生成过多，会对性能产生影响，并且会拖慢数据库启动，造成业务不可用。 业务上应避免在单个实例创建大量对象。一般而言单个实例表个数不宜超过2万，单个数据库中表个数不宜超过4千。防止在数据库启动时，由于扫描表文件耗时过久，导致业务不可用。

前提条件： 1、提前开通专属云（计算独享型），并存留足够未分配的计算资源； 2、提前开通VPC、安全组等网络侧资源； 操作步骤： 步骤一： 登录天翼云账号，切换至专属云（计算独享型）节点； 如已购买了专属云（计算独享型），在控制台的右上角节点区域，可见有独立专属云“dec”标识的节点，选择用户需要进行Kafka购买的专属云节点进入。 图 带专属云“dec”标识的节点如下： 步骤二： 进入专属云节点后，在控制台中的产品列表中选择“分布式消息服务”，进入到服务控制台，在左侧菜单栏选择“Kafka专享版”，进入Kafka专享版实例列表页面。 图 专享版Kafka订购入口 步骤三： 点击“购买Kafka实例”，进入订购页面，按提示进行相关规格选择与配置。 1）计费方式为“包年包月”； 2）可用区：客户可自行根据资源池多AZ支持情况选择可用区进行创建。 说明：专享版Kafka的实例为集群模式，支持选择1个或者3个及以上可用区。不支持选择2个可用区，选择时需要注意；该可用区选择后不支持更换。 3）实例名称及企业项目：按命名规范自定义，也可以默认系统分配的名称； 4）Kafka版本：当前支持2种版本选择，2.3.0和1.1.0，推荐时间2.3.0版本； 5）CPU架构：当前仅支持“x86计算”，保持默认值即可； 图 购买Kafka订购页 6）选择具体的队列规格类型，在规格的描述与说明中会有该队列的底层资源类型、代理数量、分区上限、消费组数量，供客户与业务系统需求匹配规格。 说明：当前订购规格后，暂不支持规格变更，请在订购时做好业务整体需求评估。 7）选择存储空间：此处有2种存储可以选择，分别是公有云的云硬盘、专属分布式存储。存储的类型均支持高IO、超高IO。 说明：1、选择云硬盘时，具体价格以公有云的云硬盘价格为准； 2、选择转属分布式存储时，需提前已购买了专属云（存储独享型），在“可用存储”右侧的“存储池”列表中进行选择。 3、根据实际需要选择存储Kafka数据的总磁盘大小。 创建实例时会进行磁盘格式化，磁盘格式化会导致实际可用磁盘为总磁盘的93%~95%。 • 基准带宽为100MB/s时，存储空间取值范围：600GB ~ 90000GB。 • 基准带宽为300MB/s时，存储空间取值范围：1200GB ~ 90000GB。 • 基准带宽为600MB/s时，存储空间取值范围：2400GB ~ 90000GB。 • 基准带宽为1200MB/s时，存储空间取值范围：4800GB ~ 90000GB 图 订购页界面 图 选择云硬盘时存储类别 图 选择专属分布式存储时，需要提前购买专属存储，并在存储池列表中选择 8）选择私有云、安全组； 虚拟私有云可以为您的Kafka专享实例构建隔离的、能自主配置和管理的虚拟网络环境。 虚拟私有云和子网在Kafka专享版实例创建完成后，不支持修改。 安全组是一组对弹性云服务器的访问规则的集合，为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。 可以单击右侧的“管理安全组”，跳转到网络控制台的“安全组”页面，查看或创建安全组。 9）设置Kafka Manager的用户名、密码； Kafka Manager是开源的kafka集群管理工具，实例创建成功后，实例详情页面会展示Kafka Manager登录地址，您可登录Kafka Manager页面，查看Kafka集群的监控、代理等信息。 10）选择订购时长； 11）点击“立即购买”之前，还可进入“更多配置”也进行高级配置。 1、SASLSSL开关，开启后则对数据进行加密传输，但会对性能造成下降； 客户端连接Kafka专享版实例时，是否开启SSL认证。开启Kafka SASLSSL，则数据加密传输，安全性更高。 创建实例后，Kafka SASLSSL开关不支持修改，请慎重选择。如果创建后需要修改，需要重新创建实例。 开启Kafka SASLSSL后，您需要设置连接Kafka专享版实例的用户名和密码。 2、自动创建Topic，开关开启后，Topic将根据配置API接口自动创建。 选择开启“Kafka自动创建Topic”，表示生产或消费一个未创建的Topic时，会自动创建一个包含3个分区和3个副本的Topic。 12）点击“立即购买”，进入支付前规格确认界面。显示详细kafka 实例信息，价格。 13）确认实例信息无误且阅读并同意服务协议后，点击“去支付”进入购买支付环节，完成付款后则开启Kafka创建。 创建实例大约需要3到15分钟，此时实例的“状态”为“创建中”。 当实例的“状态”变为“运行中”时，说明实例创建成功。 如果创建实例失败，在信息栏的“创建失败任务”中查看创建失败的实例。请删除创建失败的实例，然后重新创建。如果重新创建仍然失败，请联系客服。 说明： 创建失败的实例，不会占用其他资源。

步骤二：测试验证 1. 登录分布式消息服务RocketMQ管理控制台。 2. 在左侧导航栏，单击实例列表，选择事件流的源实例。 3. 在主题管理页面，选择源的目标主题，操作列点击更多 ，然后点击测试。 4. 在对话框输入想要发送的消息，然后点击发送消息。 5. 发送消息后返回实例列表，选择事件流的目标实例，进入管理。 6. 在消息查询页面，选择目标实例的目标主题，然后按主题查询，查询目标主题对应的消息。 7. 查看查询到的Key和Value值是否与生产的消息一致，如图2所示。 图2 在分布式消息服务RocketMQ管理控制台中查看消息

方案架构 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。其原理如图1所示，MirrorMaker本质上也是生产消费消息，首先从源集群中消费数据，然后将消费的数据生产到目标集群。 图1 MirrorMaker原理图 约束与限制 使用MirrorMaker进行跨集群数据同步时，有一些约束和限制需要注意： 1. 版本兼容性： MirrorMaker的源集群和目标集群的Kafka版本需要兼容。确保源集群和目标集群的Kafka版本一致或兼容，以避免潜在的兼容性问题。 2. 主题和分区配置： MirrorMaker默认会复制源集群中的所有主题和分区，但可以通过配置文件或命令行参数来选择特定的主题和分区进行复制。需要确保源集群和目标集群的主题和分区配置保持一致。 3. 消费者组和偏移量： MirrorMaker会在目标集群中创建一个消费者组，用于消费源集群中的消息。需要注意，MirrorMaker不会复制消费者组的偏移量，因此，在切换到目标集群后，消费者组的偏移量会从新的消费者组开始。 4. 延迟和吞吐量： 在进行数据同步时，MirrorMaker会引入一定的延迟，并且在网络传输和资源消耗方面会有一定的开销。需要根据实际情况进行配置和调优，以平衡延迟和吞吐量的需求。 5. 一致性保证： MirrorMaker使用异步复制的方式进行数据同步，因此无法提供严格的一致性保证。在进行数据同步时，存在一定的消息丢失或消息重复的风险。需要根据业务需求和数据重要性来评估和处理这些风险。 6. 高可用性和故障恢复： MirrorMaker本身不提供高可用性和故障恢复机制。如果MirrorMaker节点发生故障或不可用，需要手动进行故障恢复和替换。可以通过配置多个MirrorMaker节点来提高可用性，以确保数据同步的连续性和可靠性。 需要根据具体的使用场景和需求，合理评估和处理这些约束和限制，以确保数据同步的效果和可靠性。

前提条件： 1、提前开通专属云（计算独享型），并存留足够未分配的计算资源； 2、提前开通VPC、安全组等网络侧资源； 购买操作步骤： 步骤一：登录天翼云账号，切换至专属云（计算独享型）节点； 如已购买了专属云（计算独享型），在控制台的右上角节点区域，可见有独立专属云“dec”标识的节点，选择用户需要进行Kafka购买的专属云节点进入。 图 带专属云“dec”标识的节点如下： 步骤二：进入专属云节点后，在控制台中的产品列表中选择“分布式消息服务”，进入到服务控制台，在左侧菜单栏选择“Kafka专享版”，进入Kafka专享版实例列表页面。 图 专享版Kafka订购入口 步骤三：点击“购买Kafka实例”，进入订购页面，按提示进行相关规格选择与配置。 1）计费方式为“包年包月”； 2）可用区：客户可自行根据资源池多AZ支持情况选择可用区进行创建。 说明：专享版Kafka的实例为集群模式，支持选择1个或者3个及以上可用区。不支持选择2个可用区，选择时需要注意；该可用区选择后不支持更换。 3）实例名称及企业项目：按命名规范自定义，也可以默认系统分配的名称； 4）Kafka版本：当前支持2种版本选择，2.3.0和1.1.0，推荐时间2.3.0版本； 5）CPU架构：当前仅支持“x86计算”，保持默认值即可； 图 购买Kafka订购页 6）选择具体的队列规格类型，在规格的描述与说明中会有该队列的底层资源类型、代理数量、分区上限、消费组数量，供客户与业务系统需求匹配规格。 说明：当前订购规格后，暂不支持规格变更，请在订购时做好业务整体需求评估。 7）选择存储空间：此处有2种存储可以选择，分别是公有云的云硬盘、专属分布式存储。存储的类型均支持高IO、超高IO。 说明：1、选择云硬盘时，具体价格以公有云的云硬盘价格为准； 2、选择转属分布式存储时，需提前已购买了专属云（存储独享型），在“可用存储”右侧的“存储池”列表中进行选择。 3、根据实际需要选择存储Kafka数据的总磁盘大小。 创建实例时会进行磁盘格式化，磁盘格式化会导致实际可用磁盘为总磁盘的93%~95%。 • 基准带宽为100MB/s时，存储空间取值范围：600GB ~ 90000GB。 • 基准带宽为300MB/s时，存储空间取值范围：1200GB ~ 90000GB。 • 基准带宽为600MB/s时，存储空间取值范围：2400GB ~ 90000GB。 • 基准带宽为1200MB/s时，存储空间取值范围：4800GB ~ 90000GB 图 订购页界面 图 选择云硬盘时存储类别 图 选择专属分布式存储时，需要提前购买专属存储，并在存储池列表中选择 8）选择私有云、安全组； 虚拟私有云可以为您的Kafka专享实例构建隔离的、能自主配置和管理的虚拟网络环境。 虚拟私有云和子网在Kafka专享版实例创建完成后，不支持修改。 安全组是一组对弹性云服务器的访问规则的集合，为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。 可以单击右侧的“管理安全组”，跳转到网络控制台的“安全组”页面，查看或创建安全组。 9）设置Kafka Manager的用户名、密码； Kafka Manager是开源的kafka集群管理工具，实例创建成功后，实例详情页面会展示Kafka Manager登录地址，您可登录Kafka Manager页面，查看Kafka集群的监控、代理等信息。 10）选择订购时长； 11）点击“立即购买”之前，还可进入“更多配置”也进行高级配置。 1、SASLSSL开关，开启后则对数据进行加密传输，但会对性能造成下降； 客户端连接Kafka专享版实例时，是否开启SSL认证。开启Kafka SASLSSL，则数据加密传输，安全性更高。 创建实例后，Kafka SASLSSL开关不支持修改，请慎重选择。如果创建后需要修改，需要重新创建实例。 开启Kafka SASLSSL后，您需要设置连接Kafka专享版实例的用户名和密码。 2、自动创建Topic，开关开启后，Topic将根据配置API接口自动创建。 选择开启“Kafka自动创建Topic”，表示生产或消费一个未创建的Topic时，会自动创建一个包含3个分区和3个副本的Topic。 12）点击“立即购买”，进入支付前规格确认界面。显示详细kafka 实例信息，价格。 13）确认实例信息无误且阅读并同意服务协议后，点击“去支付”进入购买支付环节，完成付款后则开启Kafka创建。 创建实例大约需要3到15分钟，此时实例的“状态”为“创建中”。 • 当实例的“状态”变为“运行中”时，说明实例创建成功。 • 如果创建实例失败，在信息栏的“创建失败任务”中查看创建失败的实例。请删除创建失败的实例，然后重新创建。如果重新创建仍然失败，请联系客服。 说明： 创建失败的实例，不会占用其他资源。

参数 参数类型 说明 示例 下级对象 desktopPoolOid String 桌面池ID dp2abarbp4482p6b2vxlw3t poolName String 桌面池名称 testtest desktopCount Integer 桌面池中云电脑数量 1 pubUserCount Integer 授权使用桌面池的终端用户数量 1 vpcOid String VPC ID vpcj2cqg2x69mjl4xugi3ape vpcName String VPC 名称 maxm0901AA osName String 操作系统名称 Windows 2016 Standard 64位 中文版（生产） status String 状态（Operating运维中；Running运行中） Running createTime String 创建时间。以ISO 8601为标准，并使用UTC+0时间，格式为yyyyMMddTHH:mm:ssZ。 20230919T11:26:03Z expireTime String 到期时间。以ISO 8601为标准，并使用UTC+0时间，格式为yyyyMMddTHH:mm:ssZ。 20230929T16:00:00Z config Object 桌面池配置策略 config

参数项 说明 所属团队 实例添加成功后的归属团队。 实例名称 实例在DMS中展示的别名。 环境 环境标识，例如开发、测试、预发、生产等。 实例属性 实例的读写属性，如读写、只读。 数据来源 实例的来源，选AOne环境数据库。 数据库类型 数据类型，如MySQL、PostgreSQL、SQL Server、DRDS等。 连接地址 AOne环境数据库的IP和端口，支持隐藏实例地址。 数据库账号 用于登录该实例的数据库账号。 数据库密码 登录账号的密码。 管控规则 仅限组织为企业版时显示，可设置当前实例的管控规则。 SQL规范 仅限组织为企业版时显示，可设置当前实例的SQL规范。 最大连接数 可设置当前用户能获取到的数据库最大连接数。

前提条件 1. 已创建虚拟私有云和子网。 2. 已申请弹性云公网IP。 创建NAT网关步骤如下 1. 登录NAT网关控制台，单击“创建NAT网关”。 2. 在NAT网关创建页面，输入相关信息，选择已创建的虚拟私有云及子网（此处以vpc01为例），在确认规格信息后提交，完成创建。 3. 创建完成后，单击NAT网关名称进入详情页面，选择“添加SNAT规则”，单击“确定”完成配置。 网络限制 默认NAT访问限制：当前函数默认的NAT访问带宽在多个租户间共享，带宽小，仅适合小量调用的测试业务场景使用；如果对带宽、性能、可靠性有高要求的生产业务场景，需开启函数访问VPC，在VPC内添加NAT网关并绑定EIP，分配独占的外网访问带宽 。

本文介绍Python版本的RabbitMQ客户端连接指导，包括RabbitMQ客户端安装，以及生产、消费消息。 使用前请参考收集连接信息收集RabbitMQ所需的连接信息。 准备环境 1. 安装Python3 2. 安装kombu pip3 install kombu 生产消息 SSL认证方式 import ssl import sys from kombu import Connection, Exchange, Producer def Main(argv): cacertfile "certscacertificate.pem" certfile "certsclientrabbitmqcertificate.pem" privatekey "certsclientrabbitmqkey.pem" conn Connection('amqp://XXX:xxx/', loginmethod'EXTERNAL', ssl{ 'cacerts': cacertfile, 'keyfile': privatekey, 'certfile': certfile, 'certreqs': ssl.CERTREQUIRED, 'sslversion': ssl.PROTOCOLTLSv12, }) channel conn.channel() exchange Exchange("exampleexchange", type"direct") producer Producer(exchangeexchange, channelchannel, routingkey"testkey") message "Hello Rabbimtq" producer.publish(message, retryTrue) print('send message: %s' % message) if name 'main': Main(sys.argv) 非SSL认证方式 import sys from kombu import Connection, Exchange, Producer def Main(argv): rabbitmqurl 'amqp://USERNAME:PASSWORD@XXX:xxx/' conn Connection(rabbitmqurl, loginmethod'PLAIN') channel conn.channel() exchange Exchange("exampleexchange", type"direct") producer Producer(exchangeexchange, channelchannel, routingkey"testkey") message "Hello Rabbimtq" producer.publish(message, retryTrue) print('send message: %s' % message) if name 'main': Main(sys.argv) 消费消息 SSL认证方式 import sys import ssl from kombu import Connection, Exchange, Queue, Consumer def Main(argv): cacertfile "certscacertificate.pem" certfile "certsclientrabbitmqcertificate.pem" privatekey "certsclientrabbitmqkey.pem" conn Connection('amqp://XXX:xxx/', loginmethod'EXTERNAL', ssl{ 'cacerts': cacertfile, 'keyfile': privatekey, 'certfile': certfile, 'certreqs': ssl.CERTREQUIRED, 'sslversion': ssl.PROTOCOLTLSv12, }) exchange Exchange("exampleexchange", type"direct") queue Queue(name"examplequeue", exchangeexchange, routingkey"testkey") def processmessage(body, message): print("receive message: %s" % format(body)) message.ack() with Consumer(conn, queuesqueue, callbacks[processmessage], accept["text/plain"]): conn.drainevents(timeout2) if name 'main': Main(sys.argv)

本文介绍为通过应用托管应用市场体验OpenClaw的使用说明。 前置说明 1.该文档为通过应用托管应用市场体验OpenClaw的说明。 2.本产品中的应用由第三方主体提供，尽管天翼云已尽最大努力进行识别和维护，但仍无法保证应用的可用性。请客户按照该产品的服务协议使用该产品，做好甄别工作，并对自行选择的服务承担相应责任。 概述 OpenClaw是近期在开发者社区和AI领域广受关注的一款开源、自托管的个人AI助手。它以其独特的“本地优先”设计理念，将强大的大型语言模型能力与用户本地系统深度结合，实现了从“对话式AI”到“可执行实际任务的智能体”的跨越。与依赖云端服务的传统AI助手不同，OpenClaw将数据主权和隐私控制权完全交还给用户，所有数据和处理过程均在用户可控的环境中进行，被誉为“首个7×24小时永不下班的AI员工”。它的开源特性也吸引了大量开发者参与生态建设，形成了一个活跃的技能市场。 重要：OpenClaw 为开源 AI 助手，请在使用前充分评估其安全性与稳定性并严格遵循许可协议，以切实保障您的系统环境与数据安全。 1. 请避免在 OpenClaw 中绑定生产级敏感账号。如需使用 API 服务，建议使用受限的 API Key 或临时 Token，并建立定期轮换机制，以降低密钥泄露带来的风险。 2. 建议优先使用天翼云官方提供的skills与插件，避免安装来源不明的第三方技能，防止恶意代码注入。 3. 请通过密码或 Token 对 OpenClaw 服务进行访问授权，严格限制访问 IP 范围，避免公网暴露，拦截非授权访问请求。 4. 建议启用详细的日志记录与行为监控，对操作行为和数据处理过程进行持续审计，及时发现并处置异常行为。

本文介绍OpenClaw(原 Clawdbot)更改厂商模型配置的内容。 前置说明 1.该文档为介绍通过应用托管应用市场体验OpenClaw更改厂商模型配置的内容。 2.本产品中的应用由第三方主体提供，尽管天翼云已尽最大努力进行识别和维护，但仍无法保证应用的可用性。请客户按照该产品的服务协议使用该产品，做好甄别工作，并对自行选择的服务承担相应责任。 概述 OpenClaw是近期在开发者社区和AI领域广受关注的一款开源、自托管的个人AI助手。它以其独特的“本地优先”设计理念，将强大的大型语言模型能力与用户本地系统深度结合，实现了从“对话式AI”到“可执行实际任务的智能体”的跨越。与依赖云端服务的传统AI助手不同，OpenClaw将数据主权和隐私控制权完全交还给用户，所有数据和处理过程均在用户可控的环境中进行，被誉为“首个7×24小时永不下班的AI员工”。它的开源特性也吸引了大量开发者参与生态建设，形成了一个活跃的技能市场。 重要：OpenClaw 为开源 AI 助手，请在使用前充分评估其安全性与稳定性并严格遵循许可协议，以切实保障您的系统环境与数据安全。 1. 请避免在 OpenClaw 中绑定生产级敏感账号。如需使用 API 服务，建议使用受限的 API Key 或临时 Token，并建立定期轮换机制，以降低密钥泄露带来的风险。 2. 建议优先使用天翼云官方提供的skills与插件，避免安装来源不明的第三方技能，防止恶意代码注入。 3. 请通过密码或 Token 对 OpenClaw 服务进行访问授权，严格限制访问 IP 范围，避免公网暴露，拦截非授权访问请求。 4. 建议启用详细的日志记录与行为监控，对操作行为和数据处理过程进行持续审计，及时发现并处置异常行为。

本文介绍OpenClaw(原 Clawdbot)更改厂商模型配置的内容。 前置说明 1.该文档为介绍通过应用托管应用市场体验OpenClaw更改厂商模型配置的内容。 2.本产品中的应用由第三方主体提供，尽管天翼云已尽最大努力进行识别和维护，但仍无法保证应用的可用性。请客户按照该产品的服务协议使用该产品，做好甄别工作，并对自行选择的服务承担相应责任。 概述 OpenClaw是近期在开发者社区和AI领域广受关注的一款开源、自托管的个人AI助手。它以其独特的“本地优先”设计理念，将强大的大型语言模型能力与用户本地系统深度结合，实现了从“对话式AI”到“可执行实际任务的智能体”的跨越。与依赖云端服务的传统AI助手不同，OpenClaw将数据主权和隐私控制权完全交还给用户，所有数据和处理过程均在用户可控的环境中进行，被誉为“首个7×24小时永不下班的AI员工”。它的开源特性也吸引了大量开发者参与生态建设，形成了一个活跃的技能市场。 重要：OpenClaw 为开源 AI 助手，请在使用前充分评估其安全性与稳定性并严格遵循许可协议，以切实保障您的系统环境与数据安全。 1. 请避免在 OpenClaw 中绑定生产级敏感账号。如需使用 API 服务，建议使用受限的 API Key 或临时 Token，并建立定期轮换机制，以降低密钥泄露带来的风险。 2. 建议优先使用天翼云官方提供的skills与插件，避免安装来源不明的第三方技能，防止恶意代码注入。 3. 请通过密码或 Token 对 OpenClaw 服务进行访问授权，严格限制访问 IP 范围，避免公网暴露，拦截非授权访问请求。 4. 建议启用详细的日志记录与行为监控，对操作行为和数据处理过程进行持续审计，及时发现并处置异常行为。

本章节主要介绍数据治理中心DataArts Studio如何创建并管理工作空间。 创建DataArts Studio实例的用户，系统将默认为其创建一个默认的工作空间“default”，并赋予该用户管理员角色。您可以使用默认的工作空间，也可以参考本章节的内容创建一个新的工作空间。 DataArts Studio实例内的工作空间作为成员管理、角色和权限分配的基本单元，包含了完整的DataArts Studio功能，工作空间的划分通常按照分子公司（如集团、子公司、部门等）、业务领域（如采购、生产、销售等）或者实施环境（如开发、测试、生产等），没有特定的划分要求。 工作空间从系统层面为管理者提供对使用DataArts Studio的用户（成员）权限、资源、DataArts Studio底层计算引擎配置的管理能力。为实现多角色协同开发，管理员可将相关用户加入到工作空间，并赋予DataArts Studio预设的项目管理员、开发者、运维者、访客等角色，其他帐号也只有在加入工作空间并被分配权限后，才可具备管理中心、数据集成、数据开发模块系列的操作权限。 约束限制 DataArts Studio实例下允许创建的工作空间数量配额暂无限制，请您根据业务需求自行规划。 存储作业日志和脏数据依赖于OBS服务。 前提条件 请参见 创建DataArts Studio基础包，确认已创建DataArts Studio实例。 背景说明 DataArts Studio实例的用户，具有创建工作空间的权限。DataArts Studio将默认为其创建一个default工作空间，并赋予该用户管理员角色。 在主帐号创建的DataArts Studio实例中，该帐号下的IAM用户如需创建工作空间，需要由主帐号给IAM用户赋予DAYU Administrator 或Tenant Administrator权限。在子用户创建的DataArts Studio实例中，主帐号默认具有该DataArts Studio实例的所有执行权限。 工作空间创建成功后，暂不支持删除空间的操作，您可以将不需要的工作空间禁用，以后仍可以重新启用工作空间。 赋予了DAYU User权限的用户，只有当其被添加为工作空间的成员后，才可以访问该工作空间。

命令行模式连接实例 以下操作命令以Linux系统为例进行说明： 步骤 1 解压Kafka命令行工具。 进入文件压缩包所在目录，然后执行以下命令解压文件。 tar zxf [kafkatar] 其中， [kafkatar] 表示命令行工具的压缩包名称。 例如： tar zxf kafka2.122.7.2.tgz 步骤 2 进入Kafka命令行工具的“/bin”目录下。 注意，Windows系统下需要进入“/bin/windows”目录下。 步骤 3 执行如下命令进行生产消息。 ./kafkaconsoleproducer.sh brokerlist {连接地址} topic {Topic名称} 参数说明如下： 连接地址：从前提条件中获取的连接地址，如果是公网访问，请使用“公网连接地址”，如果是VPC内访问，请使用“内网连接地址”，请根据实际情况选择。 Topic名称：Kafka实例下创建的Topic名称。如果Kafka实例开启了自动创建Topic功能，此参数值可以填写已创建的Topic名称，也可以填写未创建的Topic名称。 本文以公网连接为例，获取的Kafka实例公网连接地址为“10.3.196.45:9094,10.78.42.127:9094,10.4.49.103:9094”。执行完命令后输入内容，按“Enter”发送消息到Kafka实例，输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecskafka bin] ./kafkaconsoleproducer.sh brokerlist 10.3.196.45:9094,10.78.42.127:9094,10.4.49.103:9094 topic topicdemo >Hello >DMS >Kafka! >^C[root@ecskafka bin] 如需停止生产使用Ctrl+C命令退出。 步骤 4 执行如下命令消费消息。 ./kafkaconsoleconsumer.sh bootstrapserver {连接地址} topic {Topic名称} group ${消费组名称} frombeginning 参数说明如下： 连接地址：从前提条件中获取的连接地址，如果是公网访问，请使用“公网连接地址”，如果是VPC内访问，请使用“内网连接地址”，请根据实际情况选择。 Topic名称：Kafka实例下创建的Topic名称。 消费组名称：根据您的业务需求，设定消费组名称。 如果已经在配置文件中指定了消费组名称，请确保命令行中的消费组名称与配置文件中的相同，否则可能消费失败 。 消费组名称开头包含特殊字符，例如下划线“”、

接口描述：调用本接口将预部署状态的lua脚本发布到生产环境。 请求方式：post 请求路径：/icdn/udfscript/publishudfscripttoproduction 使用说明：单个用户一分钟限制调用10000次，并发不超过100。 请求参数说明（json）： 参数 是否必填 参数类型 说明 示例 下级对象 domain 是 String 域名，有效且合法，域名必须属于当前账户下 ctyun.cn scriptname 是 String 函数脚本名，为264位的小写字母、数字、下划线组合，以小写字母、数字开头结尾 luatest 返回参数说明： 参数 参数类型 说明 示例 下级对象 statusCode Integer 状态码 100000 returnObj Object 返回对象 {} message String 结果简述 正确返回/参数不合法 error String 错误码 CDN200002 errorMessage String 错误详情 请求参数校验失败，参数scriptname为必填，且不能为空 示例： 请求路径： 请求参数： {     "domain":"ctyun.cn",     "scriptname":"luatest" } 返回结果： {     "statusCode":100000,     "message":"正确返回",     "returnObj":{     } } 错误码请参考：参数code和message含义

生产消息 import java.util.ArrayList; import java.util.List; import java.util.Properties; import java.util.concurrent.Future; import org.apache.kafka.clients.CommonClientConfigs; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.clients.producer.ProducerRecord; import org.apache.kafka.clients.producer.RecordMetadata; import org.apache.kafka.common.config.SslConfigs; public class KafkaProducerDemo { public static void main(String args[]) { //加载kafka.properties Properties kafkaProperties JavaKafkaConfigurer.getKafkaProperties(); Properties props new Properties(); //设置接入点，请通过控制台获取对应Topic的接入点 props.put(ProducerConfig.BOOTSTRAPSERVERSCONFIG, kafkaProperties.getProperty("bootstrap.servers")); //设置SSL根证书的路径，请记得将XXX修改为自己的路径 props.put(SslConfigs.SSLTRUSTSTORELOCATIONCONFIG, kafkaProperties.getProperty("ssl.truststore.location")); //根证书store的密码，保持不变 props.put(SslConfigs.SSLTRUSTSTOREPASSWORDCONFIG, "c24f5210"); //接入协议，目前支持使用SSL协议接入 props.put(CommonClientConfigs.SECURITYPROTOCOLCONFIG, "SSL"); //Kafka消息的序列化方式 props.put(ProducerConfig.KEYSERIALIZERCLASSCONFIG, "org.apache.kafka.common.serialization.StringSerializer"); props.put(ProducerConfig.VALUESERIALIZERCLASSCONFIG, "org.apache.kafka.common.serialization.StringSerializer"); //请求的最长等待时间 props.put(ProducerConfig.MAXBLOCKMSCONFIG, 30 1000); //设置客户端内部重试次数 props.put(ProducerConfig.RETRIESCONFIG, 5); //设置客户端内部重试间隔 props.put(ProducerConfig.RECONNECTBACKOFFMSCONFIG, 3000); //hostname校验改成空 props.put(SslConfigs.SSLENDPOINTIDENTIFICATIONALGORITHMCONFIG, ""); //构造Producer对象，注意，该对象是线程安全的，一般来说，一个进程内一个Producer对象即可； //如果想提高性能，可以多构造几个对象，但不要太多，最好不要超过5个 KafkaProducer producer new KafkaProducer (props); //构造一个Kafka消息 String topic kafkaProperties.getProperty("topic"); //消息所属的Topic，请在控制台申请之后，填写在这里 String value "this is the message's value"; //消息的内容 try { //批量获取 futures 可以加快速度, 但注意，批量不要太大 List > futures new ArrayList >(128); for (int i 0; i kafkaMessage new ProducerRecord (topic, value + ": " + i); Future metadataFuture producer.send(kafkaMessage); futures.add(metadataFuture); } producer.flush(); for (Future future: futures) { //同步获得Future对象的结果 try { RecordMetadata recordMetadata future.get(); System.out.println("Produce ok:" + recordMetadata.toString()); } catch (Throwable t) { t.printStackTrace(); } } } catch (Exception e) { System.out.println("error occurred"); e.printStackTrace(); } } }

Kafka服务端支持版本是多少？ Kafka 1.1.0和2.3.0版本。 创建的Kafka实例是集群模式么？ 创建一个Kafka实例即为一个集群实例。 Kafka实例是否支持修改访问端口？ Kafka实例的访问端口固定，不支持修改。 如果是访问未开启SASL的Kafka专享实例，访问端口为9092。 如果是访问开启SASL的Kafka专享实例，访问端口为9093。 在访问Kafka实例之前，需要确保安全组是否配置正确。 Kafka实例的SSL证书有效期多长？ Kafka实例开启SASL时，需进行单向认证，证书有效期足够长（超过15年），客户端不需要关注证书过期风险。 如何将Kafka实例中的数据同步到另一个Kafka实例中？ Kafka实例之间没有好的实时同步方案，如果需要做实例迁移，可以同时向两个实例生产消息，源实例中的消息可继续消费，待源实例的消息数据全部被消费完或老化后，业务可迁移到新的Kafka实例。 Kafka实例的SASLSSL开关如何修改？ Kafka SASLSSL开关不支持创建实例后修改，在创建时，请慎重选择，如果创建后需要修改，需要重新创建实例。 购买实例时选择的单AZ，怎样可以扩展为多AZ？ 已购买的实例无法扩展AZ，请重新购买多AZ的实例。 Kafka扩容会影响业务吗？ Kafka扩容带宽/存储空间，都不会影响业务的使用。 Kafka实例创建后，能修改VPC和子网吗？ 不能修改VPC和子网。 Kafka实例版本可以升级吗？ Kafka实例创建成功后，实例版本不支持升级。您可以重新创建Kafka实例，实现升级Kafka实例的版本。

本文主要介绍分布式消息服务RabbitMQ的消息持久化最佳实践。 使用场景 默认情况下，RabbitMQ生产者生产的消息存储在内存中，当节点宕机或重启时，如何确保消息不丢失呢？RabbitMQ通过持久化机制实现，持久化包括Exchange持久化、Queue持久化和Message持久化。持久化是将内存中的消息写入到磁盘中，以防异常情况导致内存中的消息丢失。但是磁盘的读写速度远不如内存，开启消息持久化后，RabbitMQ的性能会下降。与惰性队列不同，持久化消息会在磁盘和内存中各存储一份，只有在内存空间不够时，才会将内存中的消息删除，存储到磁盘中。 说明 非持久化队列、Exchange在重启之后会丢失。 非持久化消息在重启之后会丢失（经过持久化队列/Exchange的消息不会自动变为持久化消息）。 持久化消息在尚未完成持久化时，如果服务器重启，消息会丢失。 设置Exchange持久化 在RabbitMQ的Web界面创建Exchange时，设置“durable”为“true”，如图1所示，设置成功后如图2所示。 图1 设置Exchange持久化 图2 持久化的Exchange

参数项 说明 所属团队 实例添加成功后的归属团队。 实例名称 实例在DMS中展示的别名。 环境 环境标识，例如开发、测试、预发、生产等。 数据来源 实例的来源，如云数据库，公网/直连数据库 数据库类型 数据类型，如MySQL、PostgreSQL、SQL Server、DRDS、DDS。 地域/资源池 云数据库的所属资源池。 云数据库 云数据库的基本信息，含IP、端口，可勾选隐藏实例地址。 数据库账号 用于登录该实例的数据库账号。 数据库密码 登录账号的密码。 管控规则 仅限组织为企业版时显示，可设置当前实例的管控规则。 SQL规范 仅限组织为企业版时显示，可设置当前实例的SQL规范。 最大连接数 可设置当前用户能获取到的数据库最大连接数。

场景 弹性存储集群 普通集群 业务数据量30M/s左右 3副本主题，生产消费1:1，分区100个，消息保留24小时（约2531GB业务数据） 规格： kafka.2u4g.cluster，单节点超高IO 200GB，节点数 3 配置： 开启弹性存储，分片大小128M，消息本地保留时长为1小时，消息保留24小时 性能： 单节点带宽峰值100MB/s（性能瓶颈为节点带宽） 成本： 规格费用：1323元/月 本地存储费用：720元/月 远程存储费用：300元/月 规格： kafka.2u4g.cluster，单节点超高IO 3300GB，节点数 3 配置： 未开启弹性存储，消息保留24小时 性能： 单节点带宽峰值100MB/s（性能瓶颈为节点带宽） 成本： 规格费用：1323元/月 存储费用：11880 元/月

场景说明 相关文档 实现 IDC 与 VPC 高速互通。生产数据可快速上传至云进行分析，云上应用也能流畅调用本地数据，即使业务高峰，数据传输依然高效稳定，提升混合云业务协同效率，降低运营成本，推动企业数字化转型。 打通跨地域、跨账号的 VPC 网络，实现数据高速稳定传输。实现企业不同区域公司业务系统间数据交互流畅，资源可灵活调用，显著提升跨区域业务协同效率，降低网络建设与运维成本，为集团一体化运营提供有力支撑。

视频 天翼云媒体存储服务等级协议 容器与企业中间件 云容器引擎服务等级协议 微服务云应用平台服务等级协议 分布式消息服务RabbitMQ服务等级协议 分布式消息服务RocketMQ服务等级协议 分布式消息服务Kafka服务等级协议 天翼云软件开发生产线CodeArts服务等级协议 天翼云应用性能监控APM服务等级协议 天翼云容器安全卫士服务等级协议 天翼云应用服务网格服务等级协议 天翼云微服务引擎服务等级协议 天翼云容器镜像服务等级协议 天翼云函数计算服务等级协议 安全 Web应用防火墙（边缘云版）服务等级协议 天翼云高防（边缘云版）服务等级协议 天翼云网站安全监测服务等级协议 天翼云爬虫管理平台服务等级协议 天翼云容器安全平台服务等级协议 天翼云托管检测与响应服务（原生版）服务等级协议 天翼云密评专区服务等级协议 天翼云日志审计服务等级协议 天翼云证书管理服务等级协议 天翼云云堡垒机服务等级协议 天翼云密钥管理服务等级协议 天翼云云安全中心服务等级协议 天翼云Web应用防火墙（原生版）服务等级协议 天翼云云防火墙（原生版）服务等级协议 天翼云Web应用防火墙（独享版）服务等级协议 天翼云漏洞扫描（专业版）服务等级协议 天翼云企业主机安全服务等级协议 天翼云态势感知（专业版）服务等级协议 天翼云云防火墙服务等级协议 天翼云运维安全中心（云堡垒机）服务等级协议

本章节主要介绍分布式消息服务RabbitMQ的消息持久化。 使用场景 默认情况下，RabbitMQ生产者生产的消息存储在内存中，当节点宕机或重启时，如何确保消息不丢失呢？RabbitMQ通过持久化机制实现，持久化包括Exchange持久化、Queue持久化和Message持久化。 持久化是将内存中的消息写入到磁盘中，以防异常情况导致内存中的消息丢失。但是磁盘的读写速度远不如内存，开启消息持久化后，RabbitMQ的性能会下降。 与惰性队列不同，持久化消息会在磁盘和内存中各存储一份，只有在内存空间不够时，才会将内存中的消息删除，存储到磁盘中。 说明 非持久化Queue、Exchange在重启之后会丢失。 非持久化Message在重启之后会丢失（经过持久化Queue/Exchange的消息不会自动变为持久化消息）。 持久化消息在尚未完成持久化时，如果服务器重启，消息会丢失。 设置Exchange持久化 在RabbitMQ WebUI页面创建Exchange时，设置“durable”为“true”，如图1所示，设置成功后如图2所示。 图1 设置Exchange持久化 图2 持久化的Exchange

本文介绍Kafka业务数据不均衡最佳实践 方案概述 Kafka将Topic划分为多个分区，所有消息分布式存储在各个分区上。每个分区有一个或多个副本，分布在不同的Broker节点上，每个副本存储一份全量数据，副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示： 在实际业务过程中可能会遇到各节点间或分区之间业务数据不均衡的情况，业务数据不均衡会降低Kafka集群的性能，降低资源使用率。 业务数据不均衡原因： 业务中部分Topic的流量远大于其他Topic，会导致节点间的数据不均衡。 生产者发送消息时指定了分区，未指定的分区没有消息，会导致分区间的数据不均衡。 生产者发送消息时指定了消息Key，按照对应的Key发送消息至对应的分区，会导致分区间的数据不均衡。 系统重新实现了分区分配策略，但策略逻辑有问题，会导致分区间的数据不均衡。 Kafka扩容了Broker节点，新增的节点没有分配分区，会导致节点间的数据不均衡。 业务使用过程中随着集群状态的变化，多少会发生一些Leader副本的切换或迁移，会导致个别Broker节点上的数据更多，从而导致节点间的数据不均衡。 实施步骤 业务数据不均衡的处理措施： 优化业务中Topic的设计，对于数据量特别大的Topic，可对业务数据做进一步的细分，并分配到不同的Topic上。 生产者生产消息时，尽量把消息均衡发送到不同的分区上，确保分区间的数据均衡。 创建Topic时，使分区的Leader副本分散到各个Broker节点中，以保障整体的数据均衡。 Kafka提供了分区重平衡的功能，可以把分区的副本重新分配到不同的Broker节点上，解决节点间负载不均衡的问题。具体分区重平衡的操作请参考修改分区平衡。