功能说明 Get Bucket Inventory Configuration返回目标桶的某项桶清单配置。 请求消息样式 plaintext GET /{Bucket}?inventory&idxxx HTTP/1.1 Host: xxx.zos.ctyun.cn xamzdate: Date xamzcontentsha256: ContentSHA256 Authorization: Auth String ContentLength: ContentLength 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 id 参数解释： 用来标识清单规则的id。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: Request Id ContentType: ContentType ContentLength: ContentLength Date: Date Connection: KeepAlive string string string boolean string string string string string 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该响应中将桶清单配置信息以消息元素的形式返回，元素的具体含义如下表所示 ： 参数名称 参数描述 类型 InventoryConfiguration 参数解释： 桶清单信息的根标签。 Container 表InventoryConfiguration 参数名称 参数描述 类型 Destination 参数解释： 清单导出目标的容器。 Container IsEnabled 参数解释： 是否启用清单规则。 Boolean Filter 参数解释： 包含清单过滤规则，清单仅包括符合条件的对象。 Container Id 参数解释： 用来标识清单规则的id。 String IncludedObjectVersions 参数解释： 是否列出对象的所有版本。 约束限制： 支持的字段为All和Current。 String OptionalFields 参数解释： 包含清单文件中包含的可选字段。 String Schedule 参数解释： 指定清单文件的导出周期。 String 表Destination 参数名称 参数描述 类型 S3BucketDestination 参数解释： 包含清单文件导出目标存储桶，前缀。 Container 表S3BucketDestination 参数名称 参数描述 类型 Bucket 参数解释： 清单文件导出的目标桶。 String Format 参数解释： 清单导出的格式。 约束限制： 只支持CSV格式。 String Prefix 参数解释： 导出清单文件的路径。 String 表Filter 参数名称 参数描述 类型 Prefix 参数解释： 指定源存储桶中需要进行清单导出的文件前缀。 String 表OptionalFields 参数名称 参数描述 类型 Field 参数解释： 清单文件中的可选字段。 String 表Schedule 参数名称 参数描述 类型 Frequency 参数解释： 清单文件导出周期。 约束限制： 支持Daily和Weekly，分别对应每天和每周末导出。 String

本节介绍客户端首次接入分布式消息服务Kafka时出现异常的排查方法 客户端首次接入分布式消息服务Kafka时如果出现异常，您可以通过以下三个方面进行排查： 网络连通问题：通常有如下几种情况可能会导致网络不通，客户端无法连接分布式消息服务Kafka的服务端。 （1）ECS实例（客户端）与分布式消息服务Kafka实例不在同一个VPC内。关于如何通过VPC网络接入服务端，请参见VPC接入。 （2）本地客户端访问非公网的分布式消息服务Kafka实例。您可以通过公网接入服务端。 客户端版本问题：客户端版本太低可能会出现异常，建议升级到与服务端匹配的客户端版本。 配置问题：默认接入点配置错误等都可能导致接入失败。您可以参见快速入门进行配置检查。

请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code TransferEncoding: chunked xamzrequestid: tx00000000000000000004e00624d61a05403fdefault ContentType: application/xml Date: Wed, 06 Apr 2022 09:47:12 GMT Connection: KeepAlive YYYYYY bkmultipart 2~ls51tmBOaXRZ0cphaKniJgwYvTXYd9E 1000 false 111 2~wa0ng7BS4kgkvH53BIv6IiKghQicI base base base base STANDARD 20220406T06:44:46.545Z obj 2~3VNk9y7oaxEplNPYRoVCwZDJIvxAI9 base base base base STANDARD 20220406T06:20:02.607Z 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。

参数名称 参数说明 类型 作业类型，如Flink SQL作业。 名称 Flink作业名称。 描述 Flink作业描述信息。 状态 Flink作业运行状态。 运行模式 如果作业所属队列是共享队列，则作业的运行模式是共享模式。 如果作业所属队列是自定义的独享队列，则作业的运行模式是独享模式。 Flink版本 作业所选的Flink作业的版本。 优化参数 作业添加了自定义参数配置时显示该参数。 CU数量 作业配置的CU数量。 管理单元 作业配置的管理单元CU数量。 并行数 作业配置的同时运行Flink作业的任务数。 单TM所占CU数 作业配置的每个TaskManager所占CU数量。 单TM Slot数 作业配置的每个TaskManager Slot数量。 OBS桶 作业配置了OBS桶显示。当勾选“开启Checkpoint”和“保存作业日志”参数后，用于保存Checkpoint和作业运行日志。 保存作业日志 开启或关闭。 作业异常告警 开启或关闭。 SMN主题 作业配置的SMN主题名称。当作业勾选了“作业异常告警”参数时显示。 异常自动重启 开启或关闭。 异常重试最大次数 异常重试最大次数为无限时显示为“无限”，其余为设置的具体值。 保存点路径 保存点的OBS存储路径。 开启Checkpoint 开启或关闭。 Checkpoint间隔 将作业运行的中间结果保存到OBS的间隔时间，单位为秒。 Checkpoint模式 Checkpoint模式： atleastonce：事件至少被处理一次 exactlyonce：事件仅被处理一次 空闲状态保留时长 用于清除GroupBy或Window经过最大保留时间后仍未更新的中间状态。 脏数据策略 作业出现脏数据时的处理策略。作业配置脏数据策略时显示该参数。 忽略。 抛出异常。 保存。 脏数据转储地址 “脏数据策略”选择“保存”时，保存脏数据的OBS路径。 创建时间 作业创建的具体时间。 更新时间 作业最近一次更新的时间。

功能说明 GetObject请求获取指定的对象。 请求消息样式 plaintext GET /{Bucket}/{Key}?versionIdVersionId HTTP/1.1 Host: xxx.zos.ctyun.cn xamzcontentsha256: ContentSHA256 xamzdate: Date Authorization: Auth String IfMatch: Etag IfModifiedSince: Date IfNoneMatch: Etag IfUnmodifiedSince: Date Range: bytesbeginbyteendbyte 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： Bucket的名称。 String 是 Key 参数解释： 获取对象的Key。 String 是 versionId 参数解释： 对象的版本号。 String 否 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 可以带附加消息头，附加请求消息头如下表所示： 参数名称 参数描述 类型 是否必须 IfMatch 参数解释： 仅当对象的Etag和提供的Etag匹配时下载，否则返回412。 String 否 IfModifiedSince 参数解释： 仅当对象在提供的时间后修改过时下载，否则返回304。 Date 否 IfNoneMatch 参数解释： 仅当对象的Etag和提供的Etag不匹配时下载，否则返回304。 String 否 IfUnmodifiedSince 参数解释： 仅当对象在提供的时间后未修改过时下载，否则返回412。 Date 否 Range 参数解释： 指定下载对象的范围。 String 否

步骤三：在控制台中发布事件 1. 登录事件总线EventBridge管理控制台，在左侧导航栏，单击事件总线。 2. 在事件总线页面，找到步骤一中选中的总线，在其右侧操作列单击发布事件。 3. 在发送事件面板，事件源下拉列表选择已创建的自定义事件源，在事件体代码框输入事件内容，然后单击确定 。事件包含的参数规范，请参见事件概述。 4. （可选项）亦可选择通过SDK发送事件，详见SDK概述。 注意 仅自定义事件总线支持通过管理控制台发布事件。 步骤四：结果验证 1. 登录分布式消息服务Kafka管理控制台。 2. 在左侧导航栏，单击实例列表，选择目标实例。 3. 在左侧导航栏点击消息查询页面，点击按位点查询，验证主题刚才收到的消息是否与步骤三发送的事件内容一致，详见图2。 图2 在分布式消息Kafka管理控制台消息查询页面查询消息

本文介绍Kafka业务数据不均衡最佳实践 方案概述 Kafka将Topic划分为多个分区，所有消息分布式存储在各个分区上。每个分区有一个或多个副本，分布在不同的Broker节点上，每个副本存储一份全量数据，副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示： 在实际业务过程中可能会遇到各节点间或分区之间业务数据不均衡的情况，业务数据不均衡会降低Kafka集群的性能，降低资源使用率。 业务数据不均衡原因： 业务中部分Topic的流量远大于其他Topic，会导致节点间的数据不均衡。 生产者发送消息时指定了分区，未指定的分区没有消息，会导致分区间的数据不均衡。 生产者发送消息时指定了消息Key，按照对应的Key发送消息至对应的分区，会导致分区间的数据不均衡。 系统重新实现了分区分配策略，但策略逻辑有问题，会导致分区间的数据不均衡。 Kafka扩容了Broker节点，新增的节点没有分配分区，会导致节点间的数据不均衡。 业务使用过程中随着集群状态的变化，多少会发生一些Leader副本的切换或迁移，会导致个别Broker节点上的数据更多，从而导致节点间的数据不均衡。 实施步骤 业务数据不均衡的处理措施： 优化业务中Topic的设计，对于数据量特别大的Topic，可对业务数据做进一步的细分，并分配到不同的Topic上。 生产者生产消息时，尽量把消息均衡发送到不同的分区上，确保分区间的数据均衡。 创建Topic时，使分区的Leader副本分散到各个Broker节点中，以保障整体的数据均衡。 Kafka提供了分区重平衡的功能，可以把分区的副本重新分配到不同的Broker节点上，解决节点间负载不均衡的问题。具体分区重平衡的操作请参考修改分区平衡。

操作步骤 1. 登录媒体存储控制台，进入【告警管理告警配置】菜单页面，列表展示为目前配置的告警规则。 2. 可在列表对指定的规则进行修改、下线或删除操作。 注意 编辑规则时，规则名称、监控维度、监控区域、监控Bucket不可修改。 如规则存在未恢复或未处理的告警消息，则该规则暂无法修改，请等待告警恢复或忽略告警信息后再修改。 查看告警消息 用户可参考以下说明，通过控制台查看告警消息。 操作步骤 1. 登录媒体存储控制台，进入【告警管理告警消息】菜单页面，在【告警列表】标签页可查看告警消息。 2. 可在告警列表查看指定的告警消息详情或进行【忽略告警】操作。 3. 告警列表仅展示最近30天的告警消息。 4. 【历史推送】标签页展示近30天的告警信息所关联的历史推送记录，每推送一次为一条记录。

syslogfacility (enum) 当启用了向syslog记录时，这个参数决定要使用的syslog“设备”。你可以在LOCAL0、LOCAL1、LOCAL2、LOCAL3、LOCAL4、 LOCAL5、LOCAL6、LOCAL7中选择，默认值是LOCAL0。还请参阅系统的syslog守护进程的文档。这个参数只能在postgresql.conf文件中或在服务器命令行上设置。 syslogident (string) 当启用了向syslog记录时，这个参数决定用来标识syslog中的TeleDB消息的程序名。默认值是postgres。这个参数只能在postgresql.conf文件中或在服务器命令行上设置。 syslogsequencenumbers (boolean) 当日志被记录到syslog并且这个设置为 on （默认）时，每一个消息会被加上一个增长的序号作为前缀（例如 [2]）。这种行为避开了很多 syslog 实现默认采用的 “ 上一个消息重复 N 次 ”形式。在现代 syslog 实现中， 抑制重复消息是可以配置的（例如rsyslog 中的$RepeatedMsgReduction），因此这个参数可能不是必需的。 此外，如果你真的想抑制重复消息，你可以把这个参数设置为 off。这个参数只能在postgresql.conf文件或者服务器命令行上设置。 syslogsplitmessages (boolean) 当启用把日志记录到syslog时，这个参数决定消息如何送达 syslog。当设置为 on（默认）时，消息会被分成行， 并且长的行也会被划分以便能够放到 1024 字节中， 这是传统 syslog 实现一种典型的尺寸限制。当设置为 off 时，TeleDB服务器日志消息会被原样送达 syslog 服务， 而处理可能的大体量消息的任务由 syslog 服务负责。如果 syslog 最终被记录到一个文本文件中，那么两种设置的效果是一样的， 但最好设置为 on，因为大部分 syslog 实现要么不能处理大型消息， 要么需要做特殊的配置以处理大型消息。但是如果 syslog 最终写入到某种其他媒介，有必要让消息保持逻辑上的整体性（也更加有用）。这个参数只能在postgresql.conf文件或者服务器命令行上设置。

本页介绍了天翼云关系数据库MySQL版支持的监控指标。 关系数据库MySQL版支持的监控指标如下。 注意 关系数据库MySQL版实例中的Agent只用于监控实例运行的指标、状态，不会收集除监控指标外的其它数据。 功能说明 本文定义了关系数据库MySQL版上报云监控的监控指标的命名空间，监控指标列表和维度定义。用户可以通过云监控提供的API接口来检索关系型数据库产生的监控指标和告警信息。 监控指标频率目前支持15秒、60秒、300秒，默认监控频率为30秒。 注意 部分监控指标支持设置为10秒，详细信息，请参见设置监控频率 实例监控指标 关系数据库MySQL版实例性能监控指标，如下表所示。 指标名称 指标含义 取值范围 CPU使用率（系统空间） 该指标用于统计测量对象的CPU使用率（系统空间占用），以比率为单位。 0100% CPU使用率（用户空间） 该指标用于统计测量对象的CPU使用率（用户空间占用），以比率为单位。 0100% CPU使用率（等待I/O） 该指标用于统计CPU在等待磁盘I/O请求完成时处于空闲状态的时间百分比。 0100% CPU总使用率 该指标用于统计测量对象的CPU总使用率，以比率为单位。 0100% MySQL CPU使用率 该指标用于统计MySQL进程的CPU使用率。 0100% 内存使用率 该指标用于统计测量对象的内存使用率，以比率为单位。 0100% MySQL服务进程占用的内存使用率 该指标用于统计MySQL服务进程占用的内存使用率。以比率为单位。 0100% 实例总空间使用量 该指标用于统计实例的空间占用情况，以GB为单位。 ≥ 0 GB 备份空间使用量 该指标用于统计云硬盘实例备份空间的使用情况，以GB为单位。 ≥ 0 GB 磁盘读速率（数据盘） 该指标用于统计当前实例数据盘，单位时间内系统处理的磁盘读速率（平均值）。 ≥ 0 kb/s 磁盘写速率（数据盘） 该指标用于统计当前实例数据盘，单位时间内系统处理的磁盘写速率（平均值）。 ≥ 0 kb/s 磁盘读速率（系统盘） 该指标用于统计当前实例系统盘，单位时间内系统处理的磁盘读速率（平均值）。 ≥ 0 kb/s 磁盘写速率（系统盘） 该指标用于统计当前实例系统盘，单位时间内系统处理的磁盘写速率（平均值）。 ≥ 0 kb/s 数据盘读次数 该指标用于统计数据盘，单位时间内系统处理的I/O读扇区请求数量（平均值）。 ≥ 0 counts 数据盘写次数 该指标用于统计数据盘，单位时间内系统处理的I/O写扇区请求数量（平均值）。 ≥ 0 counts 系统盘读次数 该指标用于统计系统盘，单位时间内系统处理的I/O读扇区请求数量（平均值）。 ≥ 0 counts 系统盘写次数 该指标用于统计系统盘，单位时间内系统处理的I/O写扇区请求数量（平均值）。 ≥ 0 counts 磁盘使用率（数据盘） 该指标用于统计数据盘的磁盘使用率，以比率为单位。 0100% 磁盘使用率（系统盘） 该指标用于统计系统盘的磁盘使用率，以比率为单位。 0100% 磁盘平均队列长度（数据盘） 该指标用于统计数据盘平均队列长度。以s为单位。 ≥0s 磁盘平均队列长度（系统盘） 该指标用于统计系统盘平均队列长度。以s为单位。 ≥0s IO操作等待时间（数据盘） 该指标用于统计数据盘IO操作等待时间。 ≥0 ms IO操作等待时间（系统盘） 该指标用于统计系统盘IO操作等待时间。 ≥0 ms 网络接收字节数 该指标用于统计平均每秒从测量对象的所有网络适配器输入的流量，以千字节为单位。 ≥ 0 kb/s 网络发送字节数 该指标用于统计平均每秒从测量对象的所有网络适配器输出的流量，以千字节为单位。 ≥ 0 kb/s 数据库总连接数 该指标用于统计试图连接到MySQL服务器的总连接数，以个为单位。 ≥ 0 counts 当前活跃连接数 该指标用于统计当前打开的连接的数量，以个为单位。 ≥ 0 counts 执行次数（select） 该指标用于统计平均每秒select语句执行次数 ≥ 0 counts 执行次数（insert） 该指标用于统计平均每秒insert语句执行次数 ≥ 0 counts 执行次数（update） 该指标用于统计平均每秒update语句执行次数 ≥ 0 counts 执行次数（delete） 该指标用于统计平均每秒delete语句执行次数 ≥ 0 counts QPS 该指标用于统计SQL语句查询次数，含存储过程，以次/秒为单位。 ≥ 0 queries/s TPS 该指标用于统计事务执行次数，含提交的和回退的，以次/秒为单位。 ≥ 0 transactions/s 缓冲池利用率 该指标用于统计空闲的页与InnoDB缓存中缓冲池页面总数的比例，以比率为单位。 0100% 缓冲池命中率 该指标用于统计读命中与读请求数比例，以比率为单位。 0100% 缓冲池脏块率 该指标用于统计InnoDB缓存中脏数据与InnoDB缓存中使用的页比例，以比率为单位。 0100% InnoDB读取吞吐量 该指标用于统计Innodb平均每秒读字节数，以字节/秒为单位。 ≥ 0 bytes/s InnoDB写入吞吐量 该指标用于统计Innodb平均每秒写字节数，以字节/秒为单位。 ≥ 0 bytes/s InnoDB文件读取频率 该指标用于统计Innodb平均每秒从文件中读的次数，以次/秒为单位。 ≥ 0 counts/s InnoDB文件写入频率 该指标用于统计Innodb平均每秒向文件中写的次数，以次/秒为单位。 ≥ 0 counts/s InnoDB日志写请求频率 该指标用于统计平均每秒的日志写请求数，以次/秒为单位。 ≥ 0 counts/s InnoDB日志物理写频率 该指标用于统计平均每秒向日志文件的物理写次数，以次/秒为单位。 ≥ 0 counts/s InnoDB日志fsync()写频率 该指标用于统计平均每秒向日志文件完成的fsync()写数量，以次/秒为单位。 ≥ 0 counts/s 临时表创建数量 该指标用于统计在硬盘上创建的临时表数量，以个为单位。 ≥ 0 counts Insert语句执行频率 该指标用于统计平均每秒Insert语句执行次数，以次/秒为单位。 ≥ 0 queries/s Delete语句执行频率 该指标用于统计平均每秒Delete语句执行次数，以次/秒为单位。 ≥ 0 queries/s Select语句执行频率 该指标用于统计平均每秒Select语句执行次数。 ≥ 0 queries/s Update语句执行频率 该指标用于统计平均每秒Update语句执行次数，以次/秒为单位。 ≥ 0 queries/s 行删除速率 该指标用于统计平均每秒从InnoDB表删除的行数，以行/秒为单位。 ≥ 0 rows/s 行插入速率 该指标用于统计平均每秒向InnoDB表插入的行数，以行/秒为单位。 ≥ 0 rows/s 行读取速率 该指标用于统计平均每秒从InnoDB表读取的行数，以行/秒为单位。 ≥ 0 rows/s 行更新速率 该指标用于统计平均每秒向InnoDB表更新的行数，以行/秒为单位。 ≥ 0 rows/s 历史行锁平均等待时间 该指标用于统计innodb历史行锁平均等待时间。 > 0ms 当前行锁等待数 该指标用于统计innodb当前行锁等待数，以个为单位。表示当前正在等待行锁的事务个数。 ≥ 0 counts 长事务个数统计 该指标用于统计长事务的个数 ≥ 0 counts 连接使用率 该指标用于统计当前已用的MySQL连接数占总连接数的百分比。 0100% 主从复制延迟 该指标用于统计多节点实例，主从复制延迟时间，以s为单位。 ≥0 s 每秒DDL次数 该指标用于统计对象每秒钟ddl次数 ≥ 0 counts 平均每秒InsertSelect语句执行次数 该指标用于统计对象平均每秒InsertSelect语句执行次数 ≥ 0 counts 平均每秒ReplaceSelect语句执行次数 该指标用于统计对象平均每秒ReplaceSelect语句执行次数 ≥ 0 counts 平均每秒replace语句执行次数 该指标用于统计对象平均每秒replace语句执行次数 ≥ 0 counts Innodb打开文件数 该指标用于统计对象Innodb打开文件数 ≥ 0 counts 打开表数 该指标用于统计对象打开表数 ≥ 0 counts 打开的文件数 该指标用于统计对象打开的文件数 ≥ 0 counts 执行全表搜索查询的数量 该指标用于统计对象执行全表搜索查询的数量 ≥ 0 counts InnoDB 平均每秒fsync操作次数 该指标用于统计对象InnoDB 平均每秒fsync操作次数 ≥ 0 counts InnoDB每秒写入redo log日志量(B) 该指标用于统计对象InnoDB每秒写入redo log日志量(B) ≥0 B mdl锁阻塞的连接数 该指标用于统计对象mdl锁阻塞的连接数 ≥ 0 counts relay log使用量 该指标用于统计对象relay log使用量 ≥0 MB redo log使用量 该指标用于统计对象redo log使用量 ≥0 MB 系统数据库数据量 该指标用于统计系统数据库数据量 ≥0 MB 用户数据库数据量 该指标用于统计对象用户数据库数据量 ≥0 MB 临时文件数据量 该指标用于统计对象临时文件数据量 ≥0 MB undo log使用量 该指标用于统计对象undo log使用量 ≥0 MB binlog使用量 该指标用于统计对象binlog使用量 ≥0 MB slow log使用量 该指标用于统计对象slow log使用量 ≥0 MB 平均每秒从所有客户端接收到的字节数 该指标用于统计对象平均每秒从所有客户端接收到的字节数 ≥0 KB 平均每秒发送给所有客户端的字节数 该指标用于统计对象平均每秒发送给所有客户端的字节数 ≥0 KB 当前全部会话 该指标用于统计当前全部会话 ≥ 0 counts 当前活跃会话 该指标用于统计当前活跃会话 ≥ 0 counts InnoDB Buffer Pool 刷Page请求数量 该指标用于统计对象InnoDB Buffer Pool 刷Page请求数量 ≥ 0 counts InnoDB 表总等待row locks次数 该指标用于统计对象InnoDB 表总等待row locks次数 ≥ 0 counts 从系统启动到现在锁定的总时间 该指标用于统计对象从系统启动到现在锁定的总时间 ≥0 ms InnoDB 表每秒等待row locks时间 该指标用于统计对象InnoDB 表每秒等待row locks时间 ≥0 ms InnoDB 表每秒等待row locks次数 该指标用于统计对象InnoDB 表每秒等待row locks次数 ≥ 0 counts InnoDB 表平均等待row locks时间 该指标用于统计对象InnoDB 表平均等待row locks时间 ≥0 ms 监控行锁个数 该指标用于统计对象监控行锁个数 ≥ 0 counts 读取源二进制日志的I/O线程是否正在运行 该指标用于统计对象读取源二进制日志的I/O线程是否正在运行 ≥ 0 counts 执行中继日志中事件的SQL线程是否正在运行 该指标用于统计对象执行中继日志中事件的SQL线程是否正在运行 ≥ 0 counts MySQL读写次数 该指标用于统计对象MySQL读写次数 ≥ 0 counts IOPS使用率 该指标用于统计对象IOPS使用率 0100% 慢查询 该指标用于统计对象的慢查询数量 ≥ 0 counts 等待表锁次数 该指标用于统计对象的等待表锁次数（dml级） ≥ 0 counts

m3弹性云主机的规格 规格名称 CPU( 核） 内存（ GB ） 最大带宽（ Gbps ） 基准带宽（ Gbps ） 最大收发包（万 pps ） 网卡多队列 m3.large.8 2 16 1.5 0.6 30 2 m3.xlarge.8 4 32 3 1.1 50 2 m3.2xlarge.8 8 64 5 2 90 4 m3.4xlarge.8 16 128 10 4.5 130 4 m3.8xlarge.8 32 256 15 9 260 8 m2弹性云主机的规格 规格名称 CPU(核） 内存（GB） 最大带宽（Gbps） 基准带宽（Gbps） 最大收发包（万pps） 网卡多队列 m2.medium.8 1 8 m2.large.8 2 16 m2.xlarge.8 4 32 m2.2xlarge.8 8 64 m2.4xlarge.8 16 128

错误码 说明 52060 指定桌面不属于当前用户 92006 桌面不在线 92100 通过 sessionId 找不到 session 92101 消息发送失败 92102 消息长度不能超过 2000 字符 92103 找不到消息记录 92104 功能未开放，请联系管理员 92105 功能未开放，请联系管理员

响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该响应中将标签信息以消息元素的形式返回，元素的具体含义如下表所示： 参数名称 参数描述 类型 Tagging 参数解释： 标签集容器。 Container 表Tagging 参数名称 参数描述 类型 TagSet 参数解释： 标签集容器。 Container 表TagSet 参数名称 参数描述 类型 Tag 参数解释： 标签。 Container 表Tag 参数名称 参数描述 类型 Key 参数解释： 标签键 String Value 参数解释： 标签值 String 错误码 请参见调用前必知错误码全局错误码。

响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该响应中将标签信息以消息元素的形式返回，元素的具体含义如下表所示： 参数名称 参数描述 类型 Tagging 参数解释： 标签集容器。 Container 表Tagging 参数名称 参数描述 类型 TagSet 参数解释： 标签集容器。 Container 表TagSet 参数名称 参数描述 类型 Tag 参数解释： 标签。 Container 表Tag 参数名称 参数描述 类型 Key 参数解释： 标签键 String Value 参数解释： 标签值 String 错误码 请参见调用前必知错误码全局错误码。

进行分布式消息服务Kafka与开源自建对比。 分布式消息服务Kafka相对开源自建的Kafka提供更多功能服务，具备如下优势： 对比项 开源自建 分布式消息服务Kafka 低成本运维 需要专业人员资源规划、部署、运维。 一键开通，全托管。提供多种规格，按需使用，支持一键式节点数、磁盘存储空间和节点规格扩容。 分区规模 千级分区稳定性下降。 支持万级分区稳定写入。 消息查询 命令行可以消费，但无法根据位点或者时间直接定位到具体的消息。 控制台可视化按时间或者位点直接查看消息。 ACL访问控制 命令行，配置复杂。 灵活配置，一键生效。 可视化配置 命令行，配置复杂。 控制台全方位可视化配置管理。 运维监控 缺乏配套的监控运维能力。 提供全引擎指标可视化监控，告警及时发现问题。 集群巡检 命令行，配置复杂。 引擎状态、主题一键健康检测、启停。 稳定可靠 需要自己开发或基于开源实现，开发成本高昂，无法保证业务可靠运行。 支持跨AZ部署，提升可靠性。 安全保证 需要自行进行安全加固。 VPC隔离，支持SSL通道加密。 简单易用 无，需要自己开发。 提供简单的实例管理RESTful API，使用门槛低。

本文介绍分布式消息服务MQTT的Keep Alive设置推荐。 在MQTT中，Keep Alive是一个用于保持客户端和服务器之间的活动连接的机制。它是通过客户端定期发送PINGREQ消息来实现的，以确保连接保持活动状态。当服务器接收到PINGREQ消息后，会回复PINGRESP消息，表示连接仍然活动。 Keep Alive的设置取决于你的应用需求和网络环境。以下是一些建议： 1. 根据网络稳定性设置：如果你的网络环境非常稳定，连接很少会断开，你可以将Keep Alive设置为较长的时间，例如60秒或更长。这样可以减少PINGREQ和PINGRESP消息的频繁发送，减少网络流量和资源消耗。 2. 根据应用实时性设置：如果你的应用对实时性要求较高，需要及时获取和响应消息，则可以将Keep Alive设置为较短的时间，例如10秒或更短。这样可以快速检测到连接丢失，并尽快重新连接或采取相应的处理措施。 3. 根据网络延迟设置：如果你的网络延迟较高，连接速度较慢，你可能需要将Keep Alive设置为较长的时间，以允许更多的时间来处理网络延迟和连接恢复。 需要注意的是，Keep Alive的设置不应过于频繁或过于长久。太频繁的Keep Alive会增加网络流量和服务器负载，太长久的Keep Alive可能会导致连接超时和断开。 一般来说，根据网络稳定性和应用实时性的考虑，将Keep Alive设置为30秒到5分钟之间是比较常见的。你可以根据你的具体需求和实际情况进行调整和优化。

功能说明 Get bucket logging请求获取存储桶的日志转存配置。 请求消息样式 plaintext GET /{Bucket}?logging HTTP/1.1 Host: xxxx.zos.ctyun.cn AcceptEncoding: identity XAmzContentSHA256: ContentSHA256 XAmzDate: 20220412T100505Z Authorization: string 请求消息参数 参数名称 描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000001100624e4d205e72default ContentType: application/xml ContentLength: 129 Date: Thu, 07 Apr 2022 02:32:16 GMT Connection: KeepAlive string string string string string string string 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 参数名称 描述 类型 是否必须 BucketLoggingStatus 参数解释： 日志状态信息。若此参数置为空，则表示关闭日志转存功能。 Container 是 表 BucketLoggingStatus 参数名称 描述 类型 是否必须 LoggingEnabled 参数解释： 描述日志存储位置和日志对象前缀。 Container 否 表 LoggingEnabled 参数名称 描述 类型 是否必须 TargetBucket 参数解释： 日志存储位置。可以将日志存放到任意用户拥有的桶中，包含源存储桶。用户可以配置多个源桶的日志均投放到同一个目标存储桶中，在这种情况下，用户可以使用 TargetPrefix 区分日志来自哪个源存储桶。 String 是 TargetGrants 参数解释： 授权信息。 Container 否 TargetPrefix 参数解释： 日志对象前缀。若多个源存储桶的日志均写到同一个目标存储桶中，则可以通过目标前缀来区分日志来自哪一个源存储桶。 String 是 表 TargetGrants 参数名称 描述 类型 是否必须 Grant 参数解释： 授权许可。 Container 否 表 Grant 参数名称 描述 类型 是否必须 Grantee 参数解释： 授权许可。 Container 否 Permission 参数解释： 日志访问许可。 取值范围： FULLCONTROL：完全控制权限 READ：读权限 WRITE：写权限 String 否 表 Grantee 参数名称 描述 类型 是否必须 DisplayName 参数解释： 展示名字。 String 否 EmailAddress 参数解释： 邮件地址。 String 否 ID 参数解释： 授权用户 ID。 String 否 Type 参数解释： 授权类型。 取值范围： CanonicalUser：普通用户 AmazonCustomerByEmail：邮箱用户 String 否

环境安装 1. 安装Python。（Python版本为2.7或3.X。） 2. 安装依赖库。（使用公网连接需要安装confluentkafka 1.9.2及以下版本的依赖库） pip install confluentkafka1.9.2 3. 下载Demo包kafkaconfluentpythondemo.zip。 配置修改 1. 如果是ssl连接，需要在控制台下载证书。并且解压压缩包得到ssl.client.truststore.jks，执行以下命令生成caRoot.pem文件。 keytool importkeystore srckeystore ssl.client.truststore.jks destkeystore caRoot.p12 deststoretype pkcs12 openssl pkcs12 in caRoot.p12 out caRoot.pem 2. 修改setting.py文件。（calocation仅在ssl连接时需要配置） kafkasetting { 'bootstrapservers': 'XXX', 'topicname': 'XXX', 'groupname': 'XXX' } 生产消息 发送以下命令发送消息。 python kafkaproducer.py 生产消息示例代码如下： from confluentkafka import Producer import setting conf setting.kafkasetting """初始化一个 Producer 对象""" p Producer({'bootstrap.servers': conf['bootstrapservers']}) def deliveryreport(err, msg): """ Called once for each message produced to indicate delivery result. Triggered by poll() or flush(). """ if err is not None: print('Message delivery failed: {}'.format(err)) else: print('Message delivered to {} [{}]'.format(msg.topic(), msg.partition())) """异步发送消息""" p.produce(conf['topicname'], "Hello".encode('utf8'), callbackdeliveryreport) p.poll(0) """在程序结束时，调用flush""" p.flush() 消费消息 发送以下命令消费消息。 python kafkaconsumer.py 消费消息示例代码如下： from confluentkafka import Consumer, KafkaError import setting conf setting.kafkasetting c Consumer({ 'bootstrap.servers': conf['bootstrapservers'], 'group.id': conf['groupname'], 'auto.offset.reset': 'latest' }) c.subscribe([conf['topicname']]) while True: msg c.poll(1.0) if msg is None: continue if msg.error(): if msg.error().code() KafkaError.PARTITIONEOF: continue else: print("Consumer error: {}".format(msg.error())) continue print('Received message: {}'.format(msg.value().decode('utf8'))) c.close()

参数 说明 retries 消息发送失败时的重试次数。 retry.backoff.ms 消息发送失败时的重试间隔，建议设置为1000。单位：毫秒。 acks 发送消息的持久化机制。为了提升发送性能， 建议设置为acks1。acks0：无需服务端的Response，性能较高、丢数据风险较大。acks1：服务端主节点写成功即返回Response，性能中等、丢数据风险中等、主节点宕机可能导致数据丢失。acksall：服务端主节点写成功且备节点同步成功才返回Response，性能较差、数据较为安全、主节点和备节点都宕机才会导致数据丢失。 batch.size 发往每个分区的消息缓存量。达到设置的数值时，就会触发一次网络请求，然后Producer客户端把消息批量发往服务器。如果batch.size设置过小，有可能影响发送性能和稳定性。建议保持默认值16384。单位：字节。 linger.ms 每条消息在缓存中的最长时间。若超过这个时间，Producer客户端就会忽略batch.size的限制，立即把消息发往服务器。建议根据业务场景， 将linger.ms设置在100~1000之间。单位：毫秒。 partitioner.class 设置分区策略。建议采用粘性分区策略，可提升发送性能。发送客户端2.4及以上版本，默认采用粘性分区策略模式。 buffer.memory 发送的内存池大小。如果内存池设置过小，则有可能导致申请内存耗时过长，从而影响发送性能，甚至导致发送超时。建议buffer.memory ≧ batch.size 分区数 2。单位：字节。

生产消息 进入Kafka客户端文件的“/bin”目录下，执行如下命令进行生产消息。 ./kafkaconsoleproducer.sh brokerlist ​{连接地址} topic 连接地址−−topic​{Topic名称} producer.config ../config/producer.properties 参数说明如下： 连接地址：从前提条件获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 示例如下，“10.3.196.45:9095,10.78.42.127:9095,10.4.49.103:9095”为Kafka实例连接地址。 执行完命令后，输入需要生产的消息内容，按“Enter”发送消息到Kafka实例，输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecskafka bin] ./kafkaconsoleproducer.sh brokerlist 10.3.196.45:9095,10.78.42.127:9095,10.4.49.103:9095 topic topicdemo producer.config ../config/producer.propertiesHello DMS Kafka! ^C[root@ecskafka bin] 如需停止生产使用Ctrl+C命令退出。 消费消息 执行如下命令消费消息。 ./kafkaconsoleconsumer.sh bootstrapserver ​{连接地址} topic 连接地址−−topic​{Topic名称} group ${消费组名称} frombeginning consumer.config ../config/consumer.properties 参数说明如下： 连接地址：从前提条件获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 消费组名称：根据您的业务需求，设定消费组名称。 如果已经在配置文件中指定了消费组名称，请确保命令行中的消费组名称与配置文件中的相同，否则可能消费失败 。 消费组名称开头包含特殊字符，例如下划线“”、 号“ ”时，监控数据无法展示。 示例如下： [root@ecskafka bin]

本章节主要介绍增强型跨源连接概述。 什么是增强型跨源连接？ DLI跨源分析场景连接外部数据源时，由于数据源的VPC与DLI VPC不同，网络无法连通，导致DLI无法读取数据源数据。DLI提供的增强型跨源连接功能可以实现DLI与数据源的网络连通。 本节操作为您介绍跨VPC的数据源网络连通方案： 创建增强型跨源连接：采用对等连接的方式打通DLI与数据源的VPC网络。 测试网络连通性：验证队列与数据源网络连通性。 目前DLI支持跨源访问的数据源请参考跨源分析开发方式。 注意 在跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证方式。请参考 约束和限制 DLI提供的default队列不支持创建跨源连接。 Flink作业访问DIS，OBS和SMN数据源，无需创建跨源连接，可以直接访问。 强型跨源连接需要使用VPC、子网、路由、对等连接功能，因此需要获得VPC（虚拟私有云）的VPC Administrator权限。 使用DLI增强型跨源时，弹性资源池/队列的网段与数据源网段不能重合。 访问跨源表需要使用已经创建跨源连接的队列。 跨源表不支持Preview预览功能。 检测跨源连接的连通性时对IP约束限制如下： −IP必须为合法的IP地址，用“.”分隔的4个十进制数，范围是0255。 −测试时IP地址后可选择添加端口，用":"隔开，端口最大限制5位，端口范围：0~65535。 例如192.168.xx.xx或者192.168.xx.xx:8181。 检测跨源连接的连通性时对域名约束限制如下： −域名的限制长度为1到255的字符串，并且组成必须是字母、数字、下划线或者短横线。 −域名的顶级域名至少包含两个及以上的字母，例如.com，.net，.cn等。 −测试时域名后可选择添加端口，用":"隔开，端口最大限制为5位，端口范围：0~65535。 例如example.com:8080。

请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code TransferEncoding: chunked xamzrequestid: tx00000000000000000004700624d4f505403fdefault ContentType: application/xml Date: Wed, 06 Apr 2022 08:29:04 GMT Connection: KeepAlive bkmultipart key 2~DixxGkXNw6F79q2AcwMQH41XMMkUr STANDARD 0 2 100 false 20220406T08:26:45.233Z 1 "5f363e0e58a95f06cbe9bbc662c5dfb6" 5242880 20220406T09:01:41.181Z 2 "af5df3928dffe923b1756663188295a7" 124 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 参数名称 参数描述 类型 ListPartsResult 参数解释： 本次列举分段数据返回的结果。 Container 表ListPartsResult 参数名称 参数描述 类型 Bucket 参数解释： 分段上传的Bucket名称 String Key 参数解释： 用户分段上传的对象名。 String UploadId 参数解释： 分段上传的ID。 String PartNumberMarker 参数解释： 本次请求的起始分段号。 Long NextPartNumberMarker 参数解释： 下一次请求的起始分段号，当分段信息过多是，该请求可以多次发送。 Long MaxParts 参数解释： 最多返回的分段数。 Long IsTruncated 参数解释： 是否截断返回，当该对象的分段数大于MaxParts时，该值为true。 Boolean Owner 参数解释： 对象所有者信息。 Container Part 参数解释： 各个分段信息。 Container 表Owner 参数名称 参数描述 类型 DisplayName 参数解释： 所有者名称。 String ID 参数解释： 所有者ID。 String 表Part 参数名称 参数描述 类型 LastModified 参数解释： 该分段的最新更新时间。 Date PartNumber 参数解释： 分段号。 Long Etag 参数解释： 该分段的Etag。 String Size 参数解释： 该分段大小，单位为bytes。 Long

请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code TransferEncoding: chunked xamzrequestid: tx00000000000000000004700624d4f505403fdefault ContentType: application/xml Date: Wed, 06 Apr 2022 08:29:04 GMT Connection: KeepAlive bkmultipart key 2~DixxGkXNw6F79q2AcwMQH41XMMkUr STANDARD 0 2 100 false 20220406T08:26:45.233Z 1 "5f363e0e58a95f06cbe9bbc662c5dfb6" 5242880 20220406T09:01:41.181Z 2 "af5df3928dffe923b1756663188295a7" 124 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 参数名称 参数描述 类型 ListPartsResult 参数解释： 本次列举分段数据返回的结果。 Container 表ListPartsResult 参数名称 参数描述 类型 Bucket 参数解释： 分段上传的Bucket名称 String Key 参数解释： 用户分段上传的对象名。 String UploadId 参数解释： 分段上传的ID。 String PartNumberMarker 参数解释： 本次请求的起始分段号。 Long NextPartNumberMarker 参数解释： 下一次请求的起始分段号，当分段信息过多是，该请求可以多次发送。 Long MaxParts 参数解释： 最多返回的分段数。 Long IsTruncated 参数解释： 是否截断返回，当该对象的分段数大于MaxParts时，该值为true。 Boolean Owner 参数解释： 对象所有者信息。 Container Part 参数解释： 各个分段信息。 Container 表Owner 参数名称 参数描述 类型 DisplayName 参数解释： 所有者名称。 String ID 参数解释： 所有者ID。 String 表Part 参数名称 参数描述 类型 LastModified 参数解释： 该分段的最新更新时间。 Date PartNumber 参数解释： 分段号。 Long Etag 参数解释： 该分段的Etag。 String Size 参数解释： 该分段大小，单位为bytes。 Long

请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code TransferEncoding: chunked xamzrequestid: tx00000000000000000004700624d4f505403fdefault ContentType: application/xml Date: Wed, 06 Apr 2022 08:29:04 GMT Connection: KeepAlive bkmultipart key 2~DixxGkXNw6F79q2AcwMQH41XMMkUr STANDARD 0 2 100 false 20220406T08:26:45.233Z 1 "5f363e0e58a95f06cbe9bbc662c5dfb6" 5242880 20220406T09:01:41.181Z 2 "af5df3928dffe923b1756663188295a7" 124 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 参数名称 参数描述 类型 ListPartsResult 参数解释： 本次列举分段数据返回的结果。 Container 表ListPartsResult 参数名称 参数描述 类型 Bucket 参数解释： 分段上传的Bucket名称 String Key 参数解释： 用户分段上传的对象名。 String UploadId 参数解释： 分段上传的ID。 String PartNumberMarker 参数解释： 本次请求的起始分段号。 Long NextPartNumberMarker 参数解释： 下一次请求的起始分段号，当分段信息过多是，该请求可以多次发送。 Long MaxParts 参数解释： 最多返回的分段数。 Long IsTruncated 参数解释： 是否截断返回，当该对象的分段数大于MaxParts时，该值为true。 Boolean Owner 参数解释： 对象所有者信息。 Container Part 参数解释： 各个分段信息。 Container 表Owner 参数名称 参数描述 类型 DisplayName 参数解释： 所有者名称。 String ID 参数解释： 所有者ID。 String 表Part 参数名称 参数描述 类型 LastModified 参数解释： 该分段的最新更新时间。 Date PartNumber 参数解释： 分段号。 Long Etag 参数解释： 该分段的Etag。 String Size 参数解释： 该分段大小，单位为bytes。 Long

请求发出后，您会收到服务端的响应，其中包含状态码、响应消息头和响应消息体。 状态码 状态码是一组数字代码，其中包含1xx、2xx、3xx、4xx和5xx五种类型，它可以表示请求响应的状态。 1xx（信息性状态码）：请求已被接收，继续处理（如100 Continue）。 2xx（成功状态码）：请求已成功处理（如200 OK、204 No Content）。 3xx（重定向状态码）：需进一步操作以完成请求（如301 永久重定向、302 临时重定向）。 4xx（客户端错误）：请求包含错误或无法完成（如400 参数错误、403 无权限）。 5xx（服务器错误）：服务器处理请求时失败（如500 服务器内部错误、502 网关错误）。 响应消息头 响应消息头是服务器在返回数据时附加的元信息，用于描述响应的各项属性，ZOS的公共响应头字段如下表所示。 名称 描述 类型 ContentLength 回复中Body的长度，以字节为单位 String Connection 指定服务器连接打开或关闭，有效值keepalive｜close Enum Date 响应的时间和日期，格式如：Sun, 05 Sep 2021 23:00:00 GMT String xamzrequestid xamzrequestid是由ZOS创建，并唯一标识一个请求。可用于ZOS快速定位问题 String 响应消息体 响应消息体存储实际返回的数据（如 JSON/XML 格式），其类型由响应头的ContentType定义，用于传递消息头无法容纳的具体内容。

本章节介绍Kafka Broker CPU高负载故障演练。 背景介绍 分布式系统中作为数据交换和异步解耦核心的 Kafka 集群，其 Broker 节点 CPU 易因高消息吞吐量、过多消费者组、数据复制同步及消息压缩解压缩等因素出现持续高负载，进而引发消息延迟、吞吐量下降等问题，本演练可有效测试系统的应对与恢复能力。 基本原理 指定或随机一个Broker节点启动自定义程序，空跑for循环来消耗CPU时间片。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker CPU高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 CPU占用率：指定 CPU 负载百分比，取值在0 100之间

模块 参数 参数说明 配置示例 备注 配置订阅渠道 网络通道 公网/vpc内网 公网 配置订阅渠道 订阅类型 公网：分布式消息服务/remotewriteAPI/API vpc内网:分布式消息服务 分布式消息服务 配置订阅渠道 类型 对应订阅类型下选择支持的类型 分布式消息服务Kafka 配置订阅渠道 地址 填写分布式消息服务/remotewriteAPI/API目标地址 配置订阅渠道 实例选择 下拉选择所创建的kafka实例（前提：“网络通道”选择“vpc内网”） 配置订阅渠道 用户名 目标地址用户名信息 test 配置订阅渠道 密码 目标地址用户名对应密码信息 配置订阅渠道 TOPIC 目标地址主题（TOPIC） 配置订阅渠道 kafka版本 选择目标客户端kafka版本，2.0.0/2.1.0 2.1.0 2.0.0及以下版本，请选择2.0.0 2.0.0以上版本，请选择2.1.0 基本信息 名称 填写订阅渠道名称 test 基本信息 描述 填写订阅渠道描述信息

模块 参数 参数说明 配置示例 备注 配置订阅渠道 网络通道 公网/vpc内网 公网 配置订阅渠道 订阅类型 公网：分布式消息服务/remotewriteAPI/API vpc内网:分布式消息服务 分布式消息服务 配置订阅渠道 类型 对应订阅类型下选择支持的类型 分布式消息服务Kafka 配置订阅渠道 地址 填写分布式消息服务/remotewriteAPI/API目标地址 配置订阅渠道 实例选择 下拉选择所创建的kafka实例（前提：“网络通道”选择“vpc内网”） 配置订阅渠道 用户名 目标地址用户名信息 test 配置订阅渠道 密码 目标地址用户名对应密码信息 配置订阅渠道 TOPIC 目标地址主题（TOPIC） 配置订阅渠道 kafka版本 选择目标客户端kafka版本，2.0.0/2.1.0 2.1.0 2.0.0及以下版本，请选择2.0.0 2.0.0以上版本，请选择2.1.0 基本信息 名称 填写订阅渠道名称 test 基本信息 描述 填写订阅渠道描述信息

本文主要介绍消费组问题。 Kafka实例是否需要创建消费组、生产者和消费者？ 不需要单独创建消费组、生产者和消费者，在使用时自动生成，实例创建后，直接使用即可。 连接Kafka实例后，生产消息和消费消息，请参考向Kafka实例生产消息和消费消息。 如果消息组中没有在线的消费者（如empty状态），是否14天后会自动被删除？ 消息组中没有在线的消费者（如empty状态），14天后是否会自动被删除与offsets.retention.minutes参数有关： 2020年6月16日前创建的实例，offsets.retention.minutes默认为2147483646分钟，约1491308天，消费组14天后不会被删除。 2020年6月16日以及之后创建的实例，offsets.retention.minutes默认为20160分钟，即14天，消费组14天后会自动被删除。 原因如下： Kafka通过offsets.retention.minutes参数控制消费组中offsets保留时间，在此时间内如果没有提交offset，offsets将会被删除。Kafka判定消息组中没有在线的消费者（如empty状态），且没有offsets时，将会删除此消费组。 客户端删除消费组后，在Kafka Manager中仍可以看到此消费组？ 客户端删除消费组后，此消费组已经被删除了。在Kafka Manager中仍可以看到此消费组，是因为Kafka Manager存在缓存。 通过以下任意一种方法解决此问题： 重启Kafka Manager。 Kafka Manager只显示14天内有消费记录的消费组，如果您不想重启Kafka Manager，可以等待14天后Kafka Manager自动清除此消费组。

分布式消息服务Kafka在某些功能做了约束和限制，如下表： 限制项 约束和限制 描述 Kafka Zookeeper 不对外暴露 Kafka实例的Zookeeper目前仅处于自用，不对外提供服务，为Kafka内部使用。 版本 当前服务端版本为1.1.0和2.3.0 兼容0.10以上的客户端版本，推荐使用和服务端一致的版本。 消息大小 生产消息的最大长度为10M 消息长度不要超过10M，否则生产失败。 登录Kafka节点所在机器 不能登录 无 限制Kafka Topic总分区数 限制 Kafka以分区为粒度管理消息，分区多导致生产、存储、消费都碎片化，影响性能稳定性。在使用过程中，当Topic的总分区数达到上限后，用户就无法继续创建Topic。 是否支持自动创建Topic 支持 在创建实例时候，您可以选择是否开启。 当您选择开启，表示生产或消费一个未创建的Topic时，会自动创建一个包含3个分区和3个副本的Topic。 是否需要创建消费组、消费者、生产者 不需要 不需要单独创建消费组、生产者和消费者，在使用时自动生成，实例创建后，直接使用即可 减少分区数 不支持 按照开源Kafka现有逻辑，不支持减少分区数。

本章节主要介绍工作负载队列功能。 功能介绍 DWS工作负载队列的具体功能包括：并发管理、内存管理、CPU管理以及异常规则。 并发管理 并发，即资源池中的最大查询并发数。并发管理作为运行前管理，用于限制查询并发运行的数量，通过限制查询并发数降低资源争抢，保证资源的有序高效利用。 在资源池页面“短查询配置”一栏，您可以通过开关键决定是否开启短查询加速功能。如果需要对简单语句并发数（默认值为1，0 或1表示不控制）进行修改，可选择打开短查询加速。 并发管理规则如下： 短查询加速开启，复杂查询受工作负载队列并发控制，简单查询受短查询并发控制。 短查询加速关闭，复杂查询和简单查询均受工作负载队列并发控制，短查询并发控制无效。 内存管理 内存资源，即工作负载队列所占用的内存百分比。 内存管理的目的：防止数据库系统占用内存过高导致内存溢出(OOM)和实现资源池之间的内存隔离和限制。为满足这两个目的，工作负载管理从以下两方面进行内存管理： 全局内存管理 为防止数据库系统使用内存过大导致OOM，设置数据库系统全局内存上限(maxprocessmemory)，对数据库全局内存进行管理。全局内存管理包含运行前管理和运行中管理，运行中管理防止实际使用内存超限，运行前管理防止查询执行过程中报错，具体如下： −运行前管理： 一方面慢车道运行的所有查询估算内存都会进行统计，另一方面数据库系统实际使用内存会进行反馈，当实际使用内存大于统计内存时，对统计内存进行调整。查询运行前，判断全局剩余内存能否满足查询运行，满足情况下查询可以直接运行，否则查询需要排队，等待其他查询释放资源后运行。 −运行中管理： 查询执行过程中实际使用的内存也会进行统计，查询在申请内存时判断内存使用是否超限，内存超限查询报错，已用内存释放。 资源池内存管理 资源池内存管理属于专属限额的管理方式，即资源池分配多少内存就只能使用多少内存，空闲出来的内存其他资源池不能使用。 资源池内存分配采用百分比方式，取值范围0~100。0表示资源池不进行内存管理，100表示资源池进行内存管理且可使用全局所有内存。 所有资源池分配的内存百分比之和不能超过100。资源池内存管理仅管控慢车道查询，且只包含运行前管理，处理逻辑与全局内存运行前管理类似。资源池慢车道查询运行前，进行估算内存统计，当统计内存大于资源池内存时，查询需要排队，等待资源池内其他查询运行结束释放资源后才能运行。

字段名 类型 参数说明 例子 messaging.system string 消息系统 kafka messaging.destination string 消息目的 myTopic messaging.operation string 消息操作 publish