Kafka 自身没有消息广播的语义，可以通过创建不同的 Consumer Group 来模拟实现。

介绍分布式消息服务Kafka产品功能的使用限制。 限制项 使用说明 实例 开通后，不支持修改VPC/子网/可用区，不支持变更地域属性 扩缩容 当前只支持节点、规格、磁盘扩容，不支持缩容 版本 当前服务端版本为2.132.8.2。实例创建后，服务端版本不支持升级，不支持定制版本 弹性ip 支持对每个节点绑定弹性ip，可以在公网访问topic，弹性ip只能通过SASL连接访问 topic创建 默认不支持自动创建，需要在页面上创建，总数不超过100个 topic分区数 只能增加不能减少，总分区数不能超过2000个，分区数过多会导致磁盘碎片化，影响性能 私有主题 支持私有主题 消息大小 默认1MB，可自定义配置 批量导入/导出 支持topic、消费组、连接用户的批量导入 私有消费组 支持私有消费组，需要在页面上创建、订阅对应的私有主题，并对连接用户授权

名称 类型 说明 message String 消息提示 statusCode Integer 状态码 returnObj Object 返回结果

名称 类型 说明 message String 消息提示 statusCode Integer 状态码 returnObj Object 返回结果

名称 类型 说明 message String 消息提示 statusCode Integer 状态码 returnObj Object 返回结果

名称 类型 说明 message String 消息提示 statusCode Integer 状态码 returnObj Object 返回结果

名称 类型 说明 message String 消息提示 statusCode Integer 状态码 returnObj Object 返回结果

名称 类型 说明 message String 消息提示 statusCode Integer 状态码 returnObj Object 返回结果

名称 类型 说明 message String 消息提示 statusCode Integer 状态码 returnObj Object 返回结果

参数 说明 触发事件类型 选择触发作业运行的事件类型。 “KAFKA” “KAFKA”触发事件类型的参数 连接名称 选择数据连接，需先在“管理中心”创建kafka数据连接。 Topic 选择需要发往kafka的消息Topic。 事件处理并发数 选择作业并行处理的数量，最大并发数为128。 事件检测间隔 配置时间间隔，检测通道下是否有新的消息。时间间隔单位可以配置为秒或分钟。 读取策略 选择数据的读取位置： 从上次位置读取：首次启动时，从最新的位置读取数据。后续启动时，则从前一次记录的位置读取数据。 从最新位置读取：每次启动都会从最新的位置读取数据。 失败策略 选择调度失败后的策略： 挂起 忽略失败，读取下一个

本节介绍了分布式消息服务RabbitMQ产品计费模式的区别。 包周期（包年/包月）、按需2种计费模式供您灵活选择，使用越久越便宜。 按包周期实例计费 天翼云提供包月和包年的购买模式。这种购买方式相对于按需付费则能够提供更大的折扣，对于长期使用者，推荐该方式。包周期计费按照订单的购买周期来进行结算。 按需实例计费 这种购买方式比较灵活，可以即开即停，支持秒级计费。实例从“开通”开启计费到“删除”结束计费，按实际购买时长（精确到秒）计费。 下表列出两种模式的区别： 计费模式 包年/包月 按需计费 付费方式 预付费按照订单的购买周期结算。 后付费按照云服务器实际使用时长计费。 计费周期 按订单的购买周期计费。 按小时结算。 实例升级 支持扩容，工单施工完生效，但是施工过程中服务不可用；不支持缩容。 支持扩容，工单施工完生效，但是施工过程中服务不可用；不支持缩容。 更改计费模式 支持变更为按需资源。 支持变更为包周期资源。 变更规格 支持变更实例规格。 支持变更实例规格。 适用场景 适用于可预估资源使用周期的场景，价格比按需计费模式更优惠。对于长期使用者，推荐该方式。 适用于消息资源需求波动的场景，可以随时开通，随时删除。 变更配置：天翼云分布式消息服务支持计费模式变更，更多操作内容请参考按需转包周期。

本节介绍分布式消息服务Kafka实例常见问题 为什么可用区不能选择2个？ Kafka 通常选择三个可用区而不是两个的原因在于数据的容错性和高可用性。通过将副本分布在三个可用区中，Kafka 能够实现更高级别的容错性和可用性，即使一个可用区发生故障，系统仍然可以继续正常运行。这种三个可用区的配置是为了提供更强大的冗余和容错能力，确保 Kafka 集群在面对故障时仍能保持数据的可靠性和可用性。 创建实例时为什么无法查看子网和安全组等信息？ 创建实例时，如果无法查看虚拟私有云、子网、安全组、弹性IP，可能原因是该用户还没创建相关网络实例，需要到对应天翼云网络产品购买相应的网络产品实例。 如何选择实例硬盘大小？ 磁盘大小：流量均值×存储时长×3（备份），建议在迁移上云过程中优化Topic以降低成本。 Kafka实例的超高IO和高IO如何选择？ 选择Kafka磁盘类型主要取决于应用的需求和预算。通常，对于Kafka来说，高IO磁盘是更常见的选择，因为它提供了更好的性能和吞吐量。更多信息请参考计费及购买类问题Kafka磁盘选择超高IO还是高IO？ Kafka服务端支持版本是多少？ 分布式消息服务Kafka支持2.132.8.2版本和2.133.6.2版本服务端。 Kafka实例是否支持修改访问端口？ 分布式消息服务Kafka支持在实例创建时指定访问端口。

本节介绍服务器安全卫士（原生版）计费模式。 计费模式 服务器安全卫士（原生版）产品支持包年包月计费模式。包年包月是一种先付费后使用的计费模式。 计费项 服务器安全卫士（原生版）根据产品版本 、防护服务器数量 和购买时长进行计费。 计费项 说明 产品版本 支持基础版、企业版、旗舰版，不同版本差异请参见产品规格。 防护服务器数量 根据保有的服务器数量，选择实际购买的配额数量。 购买时长 购买时长越长，享受的优惠越大。 计费公式：标准资费 防护服务器数量 购买时长 标准资费 根据支持防护的功能不同，服务器安全卫士（原生版）提供基础版、企业版、旗舰版，具体价格如下表。 计费项 标准资费 计费单位 基础版 0（免费） 企业版 60 元/个/月 旗舰版 180 元/个/月 说明 对注册天翼云的用户可免费开通基础版，您可随时升级至企业版、旗舰版，安全防护能力更强。 优惠活动 针对一次性包年付费，服务器安全卫士（原生版）/网页防篡改（原生版）的优惠政策为：1年85折、2年7折、3年5折。 针对购买服务器安全卫士、终端杀毒、网页防篡改的存量用户，若订购服务器安全卫士（原生版）/网页防篡改（原生版）产品，可享受7折优惠。 说明 以上优惠活动不能同享，取低者计算。

实例类型 数据库引擎 数据库版本 单机版 Microsoft SQL Server引擎 2022 web版 2022 标准版 2022 企业版 2019 web版 2019 标准版 2019 企业版 2017 web版 2017 标准版 2017 企业版 2016 标准版 2016 企业版 2014 标准版 2014 企业版 主备版 Microsoft SQL Server引擎 2022 标准版 2022 企业版 2019 标准版 2019 企业版 2017 标准版 2017 企业版 2016 标准版 2016 企业版 2014 标准版 2014 企业版

版本 公网流量处理峰值 架构 标准资费（元/月） 高级版 100Mbps 单机 1300 高级版 100Mbps 主备 2300 高级版 200Mbps 单机 2800 高级版 200Mbps 主备 5550 高级版 2Gbps 单机 5600 高级版 2Gbps 主备 11000

本节介绍服务器安全卫士（原生版）如何开启主机安全高级防护。 服务器安全卫士（原生版）提供基础版、企业版、旗舰版和增值服务（网页防篡改）供用户选择。不同版本差异请参见产品规格。 其中基础版为免费服务，若基础版不满足业务需求，可以购买企业版、旗舰版配额，然后将防护配额切换为企业版、旗舰版防护。 前提条件 已注册天翼云账号并完成实名认证。 方式一：在服务器安全卫士控制台开启防护 步骤一：购买防护配额 用户根据实际业务需求，购买企业版或旗舰版配额。 1. 登录服务器安全卫士（原生版）控制台。 2. 单击页面右上方的“购买服务器安全卫士（原生版）”按钮，进入服务器安全卫士（原生版）产品购买页面。 3. 选择版本、防护服务器数量。 4. （可选）选择是否开启网页防篡改增值服务。 5. 选择购买时长、是否开启自动续订。 6. 在页面左下角确认配置费用后，勾选“我已阅读，理解并同意《天翼云服务器安全卫士（原生版）服务协议》、《天翼云网页防篡改（原生版）服务协议》”，单击“立即购买”。 7. 购买成功后即可在“设置中心 > 配额管理”页面查看已购买的主机防护配额，在“网页防篡改（原生版） > 防护配额”页面查看已购买的网页防篡改防护配额。

类别 指标名称 主机 cpu使用率 主机 系统15分钟负载 主机 内存空闲率 主机 磁盘存储空闲率 主机 磁盘inode空闲率 主机 磁盘IO使用率 主机 网卡每秒接收丢包数 主机 网卡每秒接收错误包 主机 网卡每秒发送丢包数 主机 网卡每秒发送错误包数 主机 节点指标采集器可用状态 主机 主机运行时间 主机 磁盘挂载状态 主机 磁盘是否只读异常 主机 网卡每秒接收的比特数 主机 网卡每秒发送的比特数 HDFS HDFS进程状态 HDFS HDFS NameNode主备状态 HDFS HDFS rpc端口处理平均耗时 HDFS HDFS rpc端口请求队列长度 HDFS HDFS存储使用率 HDFS PendingDeletionBlocks HDFS MissingBlocks HDFS HDFS每秒创建文件数 HDFS hdfs锁队列等待线程数 HDFS HDFS距离上次checkpoint时间 HDFS HDFS NameNode内存使用率 HDFS HDFS DataNode节点存活比例 HDFS 存储使用总量 HDFS 数据块总量 HDFS HDFS存储空间使用百分比 HDFS HDFS存在损坏的磁盘 HDFS HDFS NameNode处于SafeMode HDFS HDFS NameNode Jvm暂停超过阈值的次数 HDFS HDFS DataNode Jvm暂停超过阈值的次数 YARN YARN进程状态 YARN YARN ResourceManager主从状态 YARN pending作业数 YARN pending container数 YARN 心跳处理时延 YARN 每秒心跳次数 YARN YARN NodeManager存活节点比例 YARN YARN ResourceManager内存使用率 YARN YARN ResourceManager主备状态 YARN YARN ResourceManager Container 分配的平均时间 Hive Hive进程状态 Hive hiveserver2 10000端口连接数 Hive hiveserver2 10000端口close wait数 Hive hiveserver2 端口监听状态 Hive hiveserver2堆内存使用率 Hive hiveserver2 10000端口连接数 Hive hiveserver2 10000端口close wait数 Hive Hive metastore 端口监听状态 Hive hiveserver2堆内存使用率 ZooKeeper ZooKeeper进程状态 ZooKeeper ZooKeeper watch数量 ZooKeeper ZooKeeper活跃连接数 ZooKeeper ZooKeeper数据节点存储总量 ZooKeeper ZooKeeper leader重新选主 ZooKeeper ZooKeeper的平均处理时间 Kafka Kafka进程状态 Kafka Kafka离线目录数量 Kafka Kafka离线副本数 Kafka Kafka低于 min.insync.replicas 的分区数量 Kafka Kafka未保持同步的分区数量 Kafka Kafka活跃controller数量 Kafka Kafka ZooKeeper请求延迟 Kafka Kafka broker访问zookeeper延迟时间 Kafka Kafka Broker请求队列积压的请求数量 Kafka Kafka 过去1分钟内触发的controller选举次数 HBase HBase 进程状态 HBase HBase master主从状态 HBase HBase regionserver rit数 HBase HBase master堆内存使用率 HBase HBase regionserver节点存活比例 HBase HBase regionserver堆内存使用率 HBase get操作平均耗时 HBase 99%的get操作耗时 HBase 请求平均处理耗时 HBase 每秒读请求数 HBase 每秒写请求数 HBase HBase正在使用的handler数量 HBase HBase等待执行的rpc队列长度 Doris Doris进程状态 Doris 每分钟GC时间 Doris 平均每分钟查询错误数 Doris be存储资源使用率 Doris Doris 前端主机cpu平均使用率 Doris Doris 前端主机内存平均使用率 Doris Doris 后端主机cpu平均使用率 Doris Doris 后端主机内存平均使用率 Doris Doris 前端每秒查询数量 Doris Doris 前端每秒请求数量 Doris Doris INSERT 加载中作业峰值 Doris Doris load任务失败率 Doris Doris集群最大compaction score Doris Doris集群FE的Minor GC持续时长 Doris Doris集群FE的Old GC持续时长 Doris Doris集群BE CPU使用率 Doris Doris DB当前事务数 Elasticsearch ES进程状态 Elasticsearch ES集群状态 Elasticsearch ES 未分配shard数 Elasticsearch pending任务数量 Elasticsearch 文件系统剩余容量百分比 Elasticsearch JVM堆使用率 Elasticsearch rejected线程数 Trino Trino进程状态 Trino 健康节点比例 Trino JVM堆使用率 OpenLDAP openldap进程状态 OpenLDAP 389端口连接数 Flink Flink进程状态 Flume Flume进程状态 Spark Spark进程状态 Kerberos Kerberos进程状态 Ranger Ranger进程状态 Ranger Ranger JVM堆使用率 Kyuubi Kyuubi进程状态 Kyuubi Kyuubi JVM Deadlock线程数 Kyuubi Kyuubi 服务堆内存使用率 Kyuubi Kyuubi 服务存活率 Knox Knox进程状态 Kibana Kibana进程状态 Logstash Logstash进程状态 JeekeFS JeekeFS进程状态 KafkaUI KafkaUI进程状态 Amoro Amoro 进程状态 Tezui TezUI 进程状态 Tezui TezUI 端口监听状态 Hue Hue 进程状态 Hue Hue 端口监听状态 Hue Hue Python第0代不可回收对象的5分钟增量 Hue Hue Python第1代不可回收对象的5分钟增量 Hue Hue Python第2代不可回收对象的5分钟增量 Hue Hue Django 500错误响应的5分钟增量 DolphinScheduler DolphinScheduler 进程状态 DolphinScheduler DolphinScheduler 系统当前的CPU使用率 DolphinScheduler DolphinScheduler 系统的平均负荷（1分钟） DolphinScheduler DolphinScheduler 各JVM进程CPU使用率 DolphinScheduler DolphinScheduler 各服务GC后长期存活堆内存的使用率 DolphinScheduler DolphinScheduler 各服务垃圾回收时间占比 DolphinScheduler DSApiServer 未捕获异常个数 DolphinScheduler DSAlertServer 等待发送的告警数量 DolphinScheduler DSApiServer 响应状态码的接口个数 DolphinScheduler DSMasterServer 1小时过载次数 DolphinScheduler DolphinScheduler 正在运行的工作流实例数量 DolphinScheduler DSWorkerServer 1小时过载次数 DolphinScheduler DSWorkerServer 上等待提交的任务总数 DolphinScheduler DSWorkerServer 上正在执行的任务总数 DolphinScheduler DSWorkerServer 1小时提交队列全满次数 DolphinScheduler DSAlertServer 5分钟未捕获异常个数

本文主要介绍Volcano调度器。 插件简介 Volcano调度器是一个基于Kubernetes的批处理平台，提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要而Kubernetes当前缺失的一系列特性。 Volcano提供了高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力，通过接入AI、大数据、基因、渲染等诸多行业计算框架服务终端用户。(目前Volcano项目已经在Github开源) Volcano针对计算型应用提供了作业调度、作业管理、队列管理等多项功能，主要特性包括： 丰富的计算框架支持：通过CRD提供了批量计算任务的通用API，通过提供丰富的插件及作业生命周期高级管理，支持TensorFlow，MPI，Spark等计算框架容器化运行在Kubernetes上。 高级调度：面向批量计算、高性能计算场景提供丰富的高级调度能力，包括成组调度，优先级抢占、装箱、资源预留、任务拓扑关系等。 队列管理：支持分队列调度，提供队列优先级、多级队列等复杂任务调度能力。 项目开源地址： 安装插件 步骤 1 登录CCE控制台，单击集群名称进入集群，单击左侧导航栏的“插件管理”，在右侧找到 Volcano ，单击“安装”。 步骤 2 该插件可配置“单实例”、“高可用”或自定义规格。 选择自定义时，volcanocontroller和volcanoscheduler的建议值如下： 小于100个节点，可使用默认配置，即CPU的申请值为500m，限制值为2000m；内存的申请值为500Mi，限制值为2000Mi。 高于100个节点，每增加100个节点（10000个Pod），建议CPU的申请值增加500m，内存的申请值增加1000Mi；CPU的限制值建议比申请值多1500m，内存的限制值建议比申请值多1000Mi。 volcanocontroller和volcanoscheduler的建议值 节点/Pods规模 CPU Request(m) CPU Limit(m) Memory Request(Mi) Memory Limit(Mi) 50/5k 500 2000 500 2000 100/1w 1000 2500 1500 2500 200/2w 1500 3000 2500 3500 300/3w 2000 3500 3500 4500 400/4w 2500 4000 4500 5500 步骤 3 配置volcano默认调度器配置参数。 cacert: '' defaultschedulerconf: actions: 'allocate, backfill' tiers: plugins: name: 'priority' name: 'gang' name: 'conformance' plugins: name: 'drf' name: 'predicates' name: 'nodeorder' plugins: name: 'ccegputopologypredicate' name: 'ccegputopologypriority' name: 'ccegpu' plugins: name: 'nodelocalvolume' name: 'nodeemptydirvolume' name: 'nodeCSIscheduling' name: 'networkresource' servercert: '' serverkey: '' 插件 功能 参数说明 用法演示 binpack 将pod调度到资源使用较高的节点以减少资源碎片 binpack.weight：binpack插件本身在所有插件打分中的权重 binpack.cpu：cpu资源在资源比重的比例，默认是1 binpack.memory：memory资源在所有资源中的比例，默认是1l binpack.resources： plugins: name: binpack arguments: binpack.weight: 10 binpack.cpu: 1 binpack.memory: 1 binpack.resources: nvidia.com/gpu, example.com/foo binpack.resources.nvidia.com/gpu: 2 binpack.resources.example.com/foo: 3 conformance 跳过关键Pod，比如在kubesystem命名空间的Pod，防止这些Pod被驱逐 gang 将一组pod看做一个整体去分配资源 priority 使用用户自定义负载的优先级进行调度 overcommit 将集群的资源放到一定倍数后调度，提高负载入队效率。负载都是deployment的时候，建议去掉此插件或者设置扩大因子为2.0。 overcommitfactor: 扩大因子，默认是1.2 plugins: name: overcommit arguments: overcommitfactor: 2.0 drf 根据作业使用的主导资源份额进行调度，用的越少的优先 predicates 预选节点的常用算法，包括节点亲和，pod亲和，污点容忍，node ports重复，volume limits，volume zone匹配等一系列基础算法 nodeorder 优选节点的常用算法 nodeaffinity.weight：节点亲和性优先调度，默认值是1 podaffinity.weight：pod亲和性优先调度，默认值是1 leastrequested.weight：资源分配最少的的节点优先，默认值是1 balancedresource.weight：node上面的不同资源分配平衡的优先，默认值是1 mostrequested.weight：资源分配最多的的节点优先，默认值是0 tainttoleration.weight：污点容忍高的优先调度，默认值是1 imagelocality.weight：node上面有pod需要镜像的优先调度，默认值是1 selectorspread.weight: 把pod均匀调度到不同的节点上，默认值是0 volumebinding.weight: local pv延迟绑定调度，默认值是1 podtopologyspread.weight: pod拓扑调度，默认值是2 plugins: name: nodeorder arguments: leastrequested.weight: 1 mostrequested.weight: 0 nodeaffinity.weight: 1 podaffinity.weight: 1 balancedresource.weight: 1 tainttoleration.weight: 1 imagelocality.weight: 1 volumebinding.weight: 1 podtopologyspread.weight: 2 ccegputopologypredicate GPU拓扑调度预选算法 ccegputopologypriority GPU拓扑调度优选算法 ccegpu 结合CCE的GPU插件支持GPU资源分配，支持小数GPU配置 numaaware numa拓扑调度 weight: 插件的权重 networkresource 支持预选过滤ENI需求节点，参数由CCE传递，不需要手动配置 NetworkType: 网络类型（eni或者vpcrouter类型） nodelocalvolume 支持预选过滤不符合local volume需求节点 nodeemptydirvolume 支持预选过滤不符合emptydir需求节点 nodeCSIscheduling 支持预选过滤everest组件异常节点 步骤 4 单击“安装”。

安装依赖 plaintext pip3 install pahomqtt 代码示例 python import ssl import random from paho.mqtt import client as pahoclient 填入您在mqtt控制台创建的ACL账号密码。 USERNAME "yourusername" AUTHPASSWORD "yourpassword" 是否使用tls加密传输 isTls True class MQTTClient: def init(self): 填写mqtt云消息服务的接入点，去掉:{端口号}部分 self.broker "tcp://localhost" 指定连接客户端的id self.clientid "ctgmqttclienttest" self.client None def onconnect(self, client, userdata, flags, rc): 连接建立成功 if rc 0: print("Connected to MQTT Broker!") else: print(f"Failed to connect, return code {rc}") def ondisconnect(self, client, userdata, rc): 连接丢失 print(f"Disconnected with result code {rc}") 可以在这里添加重连逻辑 def onmessage(self, client, userdata, msg): 收到消息的回调 print(f"Received {msg.payload.decode()} from {msg.topic} topic") def onpublish(self, client, userdata, mid): 成功发送消息到服务端 print(f"Message {mid} published successfully") def connectmqtt(self): 创建客户端实例 self.client pahoclient.Client(clientidself.clientid) self.client.usernamepwset(USERNAME, AUTHPASSWORD) 设置回调函数 self.client.onconnect self.onconnect self.client.ondisconnect self.ondisconnect self.client.onmessage self.onmessage self.client.onpublish self.onpublish 设置TLS if isTls: 创建不验证证书的SSL上下文 context ssl.createdefaultcontext() context.checkhostname False context.verifymode ssl.CERTNONE self.client.tlssetcontext(context) 设置其他连接选项 self.client.connect(self.broker.replace("tcp://", "").replace("ssl://", ""), port8883 if isTls else 1883) self.client.loopstart()

本节介绍Kafka业务过载最佳实践 方案概述 Kafka业务过载，一般表现为CPU使用率高、磁盘写满的现象。 当CPU使用率过高时，系统的运行速度会降低，并有加速硬件损坏的风险。 当磁盘写满时，相应磁盘上的Kafka日志目录会出现offline问题。此时，该磁盘上的分区副本不可读写，降低了分区的可用性和容错能力。同时由于Leader分区迁移到其他节点，会增加其他节点的负载。 CPU使用率高的原因 数据操作相关线程数（num.io.threads、num.network.threads、num.replica.fetchers）过多，导致CPU繁忙。 分区设置不合理，所有的生产和消费都集中在某个节点上，导致CPU利用率高。 磁盘写满的原因 业务数据增长较快，已有的磁盘空间不能满足业务数据需要。 节点内磁盘使用率不均衡，生产的消息集中在某个分区，导致分区所在的磁盘写满。 Topic的数据老化时间设置过大，保存了过多的历史数据，容易导致磁盘写满。 实施步骤 CPU使用率高的处理措施： 优化线程参数num.io.threads、num.network.threads和num.replica.fetchers的配置。 num.io.threads和num.network.threads建议配置为磁盘个数的倍数，但不能超过CPU核数。 num.replica.fetchers建议配置不超过5。 合理设置Topic的分区，分区一般设置为节点个数的倍数。 生产消息时，给消息Key加随机后缀，使消息均衡分布到不同分区上。 磁盘写满的处理措施： 扩容磁盘，使磁盘具备更大的存储空间。 迁移分区，将已写满的磁盘中的分区迁移到本节点的其他磁盘中。 合理设置Topic的数据老化时间，减少历史数据的容量大小。 在CPU资源情况可控的情况下，使用压缩算法对数据进行压缩。 常用的压缩算法包括：ZIP，GZIP，SNAPPY，LZ4等。选择压缩算法时，需考虑数据的压缩率和压缩耗时。通常压缩率越高的算法，压缩耗时也越高。对于性能要求高的系统，可以选择压缩速度快的算法，比如LZ4；对于需要更高压缩比的系统，可以选择压缩率高的算法，比如GZIP。 可以在生产者端配置“compression.type”参数来启用指定类型的压缩算法。 Properties props new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("acks", "all"); props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); // 开启GZIP压缩 props.put("compression.type", "gzip"); Producer producer new KafkaProducer<>(props);

集群管理 一个DWS 集群由多个在相同子网中的相同规格的节点组成，共同提供服务。DWS 为用户提供了简单易用的Web管理控制台，让用户可以快速申请集群，轻松执行数据仓库管理任务，专注于数据和业务。 集群管理的主要功能如下： 创建集群 如果用户需要在云上环境中使用数据仓库服务，首先应创建一个DWS集群。用户可根据业务需求选择相应的产品规格和节点规格快速创建集群。 管理快照 快照是DWS 集群在某一时间点的完整备份，记录了这一时刻指定集群的所有配置数据和业务数据，快照可用于还原某一时刻的集群。用户可以为集群手动创建快照，也可以开启定时创建自动快照。自动快照有保留天数限制，用户可以对自动快照进行复制，生成手工快照以便长期保留。 当您从快照恢复集群时，系统将为您创建一个与原始集群规格相同、节点数也相同的新集群，并导入快照数据。 对于不再需要的快照，可以选择删除快照，以释放存储空间。 管理节点 用户可查看所创集群的节点列表，在节点管理页面可以清晰的查询各节点的状态、节点规格、是否已使用等信息。若用户需要进行大规模扩容操作时，可通过节点管理功能提前分批次添加准备好用于扩容的节点。例如需要新扩容180个BMS节点，可分3批各添加60个，如果其中有一部分添加失败，可再次添加失败数量的节点，等180个节点添加成功后，再使用这些添加好的节点进行扩容；添加节点过程中不影响集群业务。 扩容集群 随着业务的增长，现有集群规模可能无法满足业务需要，此时，用户可以扩容集群，为集群增加计算节点。扩容时业务不中断。进行扩容操作时，用户可根据需求选择是否在线扩容和自动重分布。 管理重分布 默认情况下，在扩容之后将自动调起重分布任务，为了增强扩容重分布整个流程的可靠性，可以选择在扩容时关闭自动重分布功能，在扩容成功之后再手动使用重分布功能执行重分布任务，数据重分布后将大大提升业务响应速率。当前重分布支持离线重分布、在线重分布两种模式，默认情况下，提交重分布任务时将选择离线重分布模式。 工作负载管理 当您有多个数据库用户同时查询作业时，一些复杂查询可能会长时间占用集群资源，从而影响其他查询的性能。例如一组数据库用户不断提交复杂、耗时的查询，而另一组用户经常提交短查询。在这种情况下，短时查询可能不得不在队列中等待耗时查询完成。为了提高效率，DWS提供了工作负载管理功能，DWS工作负载管理以工作负载队列为资源承载，对于不同的业务类型可以创建不同的工作负载队列，为这些队列配置不同的资源占比，然后将数据库用户添加至对应的队列中，以此来限制这些数据库用户的资源使用。 逻辑集群 逻辑集群是基于Node Group机制来划分物理节点的一种集群模式，从节点层次将大集群进行划分，和数据库形成交叉。一个数据库中的表可以按逻辑集群来分配到不同的物理节点，而一个逻辑集群也可以包含多个数据库的表。 重启集群 重启集群将有可能会导致正在运行中的业务数据丢失，如果需要执行重启操作，请确定不存在正在运行的业务，所有数据都已经保存。 删除集群 当用户不再需要集群时，可选择删除集群。此操作为高危操作，删除集群可能导致数据丢失，请谨慎操作。 DWS 为用户提供了以下两种方式管理集群和快照： 管理控制台方式 使用管理控制台方式访问DWS集群。用户在注册后，可直接登录管理控制台，选择“数据仓库服务”。 REST API方式 支持使用DWS 提供的REST API接口以编程的方式管理集群。如果用户需要将DWS 集成到第三方系统，用于二次开发，请使用API方式访问。

规格名称 vCPU 内存（GB） GPU 显存（GB） 虚拟化类型 最大带宽（Gbps）/基准带宽(Gbps) 网卡多队列数 最大收发包能力（万PPS） pi7.4xlarge.4 16 64 1×A10 1×24GB KVM 17/7.5 8 200 pi7.8xlarge.4 32 128 2×A10 2×24GB KVM 25/15 16 400 pi7.16xlarge.4 64 256 4×A10 4×24GB KVM 47/45 32 800

规格名称 vCPU 内存（GB） 本地盘（GB） 最大带宽/基准带宽(Gbps) 最大收发包能力(万pps) 网卡多队列数 4KB随机读最大IOPS ip3.2xlarge.8 8 64 1 3200 8/4.5 100 4 500000 ip3.4xlarge.8 16 128 2 3200 15/9 240 4 1000000 ip3.8xlarge.8 32 256 4 3200 30/17 500 8 2000000 ip3.10xlarge.8 40 320 5 3200 40/20 600 8 2500000 ip3.16xlarge.8 64 512 8 3200 45/33 1000 16 4000000

版本 资产规格 并发数 标准资费（元/个/月） CPU 内存 系统盘 数据盘 高级版 10资产 10并发上线 860 2核 8GB 40GB 300GB 高级版 20资产 20并发上限 999 2核 8GB 50GB 300GB 高级版 50资产 50并发上限 1888 4核 16GB 50GB 500GB 高级版 100资产 100并发上限 2999 8核 32GB 50GB 800GB 高级版 200资产 200并发上限 4350 8核 32GB 50GB 800GB 高级版 500资产 500并发上限 6230 12核 48GB 50GB 2048GB 高级版 1000资产 1000并发上限 11100 16核 64GB 50GB 2048GB 高级版 2000资产 2000并发上限 14000 16核 128GB 50GB 2048GB 高级版 5000资产 2000并发上限 20000 24核 192GB 50GB 4096GB 高级版 10000资产 2000并发上限 29550 32核 192GB 50GB 4096GB

接口描述 查看通知消息列表 请求方法 GET URI /v1/notify/query 请求参数 名称 位置 类型 必选 说明 pageNum query Integer 是 页码 pageSize query Integer 是 页大小 startTime query Long 否 查询开始时间，格式：时间戳 endTime query Long 否 查询结束时间，格式：时间戳 withConfirmed query Boolean 否 结果是否包含已确认的通知，true为包含，默认为true 响应参数 名称 二级节点 三级节点 类型 说明 message String 消息提示 statusCode Integer 状态码 returnObj Object 所有的返回信息都以JSON形式保存 pageNum Integer 页码 pageSize Integer 每页最大条数 total Integer 总记录数 pageTotal Integer 总页数 List Array confirmFlag Boolean 通知是否确认，true为已确认 notifyContent String 通知内容： 实例创建是否成功、实例已删除、实例已暂停 notifyId Integer 通知唯一ID notifyLevel String 通知等级： notice:普通通知 warning:提醒通知 notifyTime String 创建时间 notifyType String 通知类型： InstanceOperation：实例操作 updateTime String 更新时间 userId Long 用户ID

授权类型 授权描述 Manager Manager访问与登录权限。 HBase HBase管理员权限设置和表、列族授权。 HDFS HDFS中的目录和文件授权。 Hive Hive Admin Privilege Hive管理员权限。 Hive Read Write Privileges Hive数据表管理权限，可设置与管理已创建的表的数据操作权限。 Hue 存储策略管理员权限。 Yarn Cluster Admin Operations Yarn管理员权限。 Scheduler Queue 队列资源管理。

翼云OpenAPI门户提供了产品的API 文档、API调试、SDK中心等。 关于用户如何使用分布式消息服务RabbitMQ产品API的详细介绍，请参见使用API。您可以在OpenAPI门户可以了解到具体的调用前必知、API概览、如何调用API以及具体的API的接口详细说明。 说明 分布式消息服务RabbitMQ提供两种版本接口供用户调用 V3版本：适用于 华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3 资源池。 V2版本：适用于 芜湖2、南京3、上海7、重庆2、乌鲁木齐27、石家庄20、内蒙6、保定、北京5 资源池。部分资源池已不再开放新实例订购，仅存量实例调用。

分布式消息Kafka使用SASL 认证协议来实现身份验证的能力，加密的主题需要经过身份校验才能正常地消费和生产消息。 1. 创建用户并配置用户权限 进入应用用户管理界面，新建用户，并给用户添加主题和消费组的权限，并且下载密钥。详细操作可以查看用户指南创建应用用户。 2. 运行生产者客户端 如下是Java客户端代码示例，注意修改内容（用户、密码、接入地址、主题名称）。 3. 运行消费者客户端 如下是Java客户端代码示例，注意修改内容（用户、密码、接入地址、消费组名称、主题名称）。

参数名称 说明 数据连接类型 在下拉列表中选择数据连接类型。 数据连接 选择所需要的数据连接。 如果您还未创建与数据源之间的数据连接，请前往DataArts Studio管理中心控制台进行创建。 数据库 选择数据库。如果您还未创建数据库，可以前往DataArts Studio数据开发控制台进行创建。 队列 DLI队列。该参数仅DLI连接类型有效。 Schema DWS或POSTGRESQL的模式。该参数在DWS或POSTGRESQL连接类型有效。 表类型 DWS表类型有： DWSROW：行存表。行存储是指将表按行存储到硬盘分区上。 DWSCOLUMN：列存表。列存储是指将表按列存储到硬盘分区上。 MRSHIVE类型仅支持HIVETABLE。 DISTRIBUTE BY 该参数仅DWS连接类型有效。可选取多个字段。 REPLICATION ：在每一个DN节点上存储一份全量表数据。这种存储方式的优点是每个DN上都有此表的全量数据，在join操作中可以避免数据重分布操作，从而减小网络开销；缺点是每个DN都保留了表的完整数据，造成数据的冗余。一般情况下只有较小的维度表才会定义为Replication表。 HASH ：采用这种分布方式，需要为用户表指定一个分布列（distribute key）。当插入一条记录时，系统会根据分布列的值进行hash运算后，将数据存储在对应的DN中。对于Hash分布表，在读/写数据时可以利用各个节点的IO资源，大大提升表的读/写速度。一般情况下大表（1000000条记录以上）定义为Hash表。

参数 参数类型 说明 示例 下级对象 code Integer 状态码 msg String 响应消息 data Object 返回数据 data

名称 类型 说明 message String 消息提示 statusCode Integer 状态码 returnObj String 返回结果，保留的关键字列表。

生产者 c @Service public class KafkaProducerService { private final KafkaTemplate kafkaTemplate; public KafkaProducerService(KafkaTemplate kafkaTemplate) { this.kafkaTemplate kafkaTemplate; } / 发送简单消息 / public void sendMessage(String topic, String message) { kafkaTemplate.send(topic, message); } } 消费者 监听者模式 若使用Spring kafka 的监听者模式，需要加上启动参数 c Dotel.instrumentation.springkafka.enabledfalse subscribe 模式 c @Component public class KafkaConsumerDemo { @Value("${spring.kafka.bootstrapservers:127.0.0.1:9092}") private String bootstrapServers; @Value("${demo.topic:demotopic}") private String topic; @Value("${demo.group:demogroup}") private String group; @PostConstruct public void init(){ new Thread(()>{ Properties props new Properties(); props.put(ConsumerConfig.BOOTSTRAPSERVERSCONFIG, bootstrapServers); props.put(ConsumerConfig.KEYDESERIALIZERCLASSCONFIG, StringDeserializer.class.getName()); props.put(ConsumerConfig.VALUEDESERIALIZERCLASSCONFIG, StringDeserializer.class.getName()); props.put(ConsumerConfig.GROUPIDCONFIG, group); // 消费者组ID props.put(ConsumerConfig.AUTOOFFSETRESETCONFIG, "earliest"); // 如果没有偏移量，从最早开始消费 props.put(ConsumerConfig.ENABLEAUTOCOMMITCONFIG, "true"); // 自动提交偏移量 props.put(ConsumerConfig.AUTOCOMMITINTERVALMSCONFIG, "1000"); // 自动提交间隔 // 2. 创建消费者对象 try (KafkaConsumer consumer new KafkaConsumer<>(props)) { // 3. 订阅主题 consumer.subscribe(Collections.singletonList(topic)); // 4. 持续拉取消息 while (true) { ConsumerRecords records consumer.poll(Duration.ofMillis(1000)); for (ConsumerRecord record : records) { System.out.printf("消费到消息: topic%s, partition%d, offset%d, key%s, value%s%n", record.topic(), record.partition(), record.offset(), record.key(), record.value()); } } } catch (Exception e) { e.printStackTrace(); } }).start(); } }