功能说明 Delete Bucket Encryption请求删除存储桶默认加密配置。 请求消息样式 plaintext Host: xxxx.zos.ctyun.cn AcceptEncoding: Identity XAmzContentSha256: ContentSHA256 XAmzDate: Date ContentLength: ContentLength Authorization: Auth String 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: Request Id Date: Date ContentType: application/xml Connection: KeepAlive ContentLength: ContentLength 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

本文主要介绍了消息管理页面的功能和使用。 当前支持的消息接收方式包括：邮箱、短信。用户可以开启或关闭消息接收。 操作步骤 1、登录消息中心。 2、点击消息中心左侧导航，选择“消息管理“ 3、配置消息接收方式。 勾选邮箱、短信，可以选择该类消息的接收方式。 点击修改，可以选择该类消息的接收人。 勾选多个消息类型，可进行批量添加或删除消息接收人。

功能说明 DeleteBucketLifecycle接口用于删除存储桶设置的生命周期规则。 请求消息样式 plaintext DELETE /{Bucket}?lifecycle HTTP/1.1 Host: xxx.zos.ctyun.cn Date: Date ContentLength: ContentLength XAmzContentSHA256: ContentSHA256 Authorization: string 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 指定存储桶名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000002e00624e43581217bdefault ContentType: application/xml Date: Thu, 07 Apr 2022 01:50:16 GMT Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

参数 说明 未打标环境忽略标签 未打标环境默认会消费所有环境的消息。若配置“未打标环境忽略标签”，则未打标环境会忽略配置的标签。 开启消息灰度开关 消息灰度生效开关。 消息灰度过滤侧 客户端过滤：在消费端MSE Agent过滤，会拉取所有的消息，建议提前评估消息量。 服务端过滤：在服务端通过SQL92方式过滤，需要RocketMQ服务端支持。

功能说明 DeleteObject请求删除指定的对象。 请求消息样式 plaintext DELETE /{Bucket}/{Key}?versionIdVersionId HTTP/1.1 Host: xxx.zos.ctyun.cn xamzcontentsha256: ContentSHA256 xamzdate: Date Authorization: Auth String Connection: keepalive 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： Bucket的名称。 String 是 Key 参数解释： 删除对象的Key。 String 是 versionId 参数解释： 删除对象的版本号。 String 否 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: Request Id Date: Date Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

功能说明 DeleteBucketWebsite请求为删除存储桶中的Website配置（静态网站托管配置或者数据回源配置）。 请求消息样式 plaintext DELETE /{Bucket}?website HTTP/1.1 Host: xxxx.zos.ctyun.cn AcceptEncoding: identity xamzdate: 20220408T091336Z xamzcontentsha256: e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 Authorization: string ContentLength: 0 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000000300624ffcc01138default ContentType: application/xml Date: Fri, 08 Apr 2022 09:13:36 GMT Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

功能说明 Delete Bucket Inventory Configuration删除目标桶的某项桶清单配置。 请求消息样式 plaintext DELETE /{Bucket}?inventory&idxxx HTTP/1.1 Host: xxx.zos.ctyun.cn xamzdate: Date xamzcontentsha256: ContentSHA256 Authorization: Auth String ContentLength: ContentLength 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 id 参数解释： 用来标识清单规则的id。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: Request Id ContentType: ContentType ContentLength: ContentLength Date: Date Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

方案概述 Kafka将Topic划分为多个分区，消息被存储在不同的分区中。在同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积，从而会造成消息消费延迟。 导致消息堆积的常见原因如下： 生产者短时间内生产大量消息到Topic，消费者无法及时消费。 消费者的消费能力不足（消费者并发低、消息处理时间长），导致消费效率低于生产效率。 消费者异常（如消费者故障、消费者网络异常等）导致无法消费消息。 Topic分区设置不合理（leader副本都集中在部分Broker中、分区数太少），或新增分区无消费者消费。 Topic频繁重平衡导致性能下降，消费效率降低。 实施步骤 从消息堆积的原因看，消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 消费者端 根据实际业务需求，合理增加消费者个数（消费并发度），建议消费者数量和分区数保持一致。 提高消费者的消费速度，通过优化消费者处理逻辑（减少复杂计算、第三方接口调用和读库操作），减少消费时间。 增加消费者每次拉取消息的数量：拉取数据/处理时间 > 生产速度。 生产者端 生产消息时，给消息Key加随机后缀，使消息均衡分布到不同分区上。（在实际业务场景中，为消息Key加随机后缀，会导致消息全局不保序，需根据实际业务判断是否适合给消息Key加随机后缀。） 服务端 合理设置Topic的分区数，在不影响业务处理效率的情况下，调大Topic的分区数量。 当服务端出现消息堆积时，对生产者进行熔断，或将生产者的消息转发到其他Topic。

本章节介绍ZooKeeper常用的技术应用场景以及优势 ZooKeeper 常用的技术应用场景如下所述。 场景一：分布式协调 分布式锁 ：在分布式环境中，程序都在独立的节点上，分布式锁是控制分布式系统之间同步访问共享资源的一种方式，分布式锁主要有如下2种类型： 独占锁：主要实现原理是利用ZooKeeper在一个具体路径下每个进程创建一个有序的临时节点，每个进程会判断自己的节点是否序号最小的节点，如果是则获得锁，如果不是则创建一个监听等待前一个序号小的临时节点释放锁。 共享锁：共享锁可以支持多个进程同时获取这把锁进行读操作，但是如果某个进程要获取写操作的权限，那么在写操作之前是没有读操作的数据，并且该进程是第一个获取到写操作类型锁的。 分布式队列 ：队列功能可以利用ZooKeeper的有序节点，实现先进先出（First Input First Output，简称FIFO）的分布式队列，即先进入队列的先被消费，后加入队列的后被消费。在创建znode时开启sequence 和 ephemeral模式，则被创建的节点结尾是一个递增的值，且不会重复。 场景二：配置中心 运用ZooKeeper的存储模式，实现配置信息的集中管理和数据的动态更新，保证了配置数据的一致性和实时性。

保证数据安全和访问安全 多租户场景下，分开存放不同租户的数据，以保证数据安全；控制用户对租户资源的访问权限，以保证访问安全。 调度器增强 多租户根据调度器类型分为开源的Capacity调度器和自主研发的增强型Superior调度器。为满足企业需求，克服Yarn社区在调度上遇到的挑战与困难，自主研发的Superior调度器，不仅集合了当前Capacity调度器与Fair调度器的优点，还做了以下增强： 增强资源共享策略 Superior调度器支持队列层级，在同集群集成开源调度器的特性，并基于可配置策略进一步共享资源。针对实例，管理员可通过Superior调度器为队列同时配置绝对值或百分比的资源策略计划。Superior调度器的资源共享策略将YARN的标签调度增强为资源池特性，YARN集群中的节点可根据容量或业务类型不同，进行分组以使队列更有效地利用资源。 基于租户的资源预留策略 部分租户可能在某些时间中运行关键任务，租户所需的资源应保证可用。Superior调度器构建了支持资源预留策略的机制，在这些租户队列运行的任务可立即获取到预留资源，以保证计划的关键任务可正常执行。 租户和资源池的用户公平共享 Superior调度器提供了队列内用户间共享资源的配置能力。每个租户中可能存在不同权重的用户，高权重用户可能需要更多共享资源。

请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code acceptranges: AcceptRanges LastModified: LastModified ContentLength: ContentLength ETag: ETag Date: Date Connection: KeepAlive xamzrequestid: Request Id 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

功能说明 GetObjectRetention获取对象的保留期限设置。 请求消息样式 plaintext GET /{Bucket}/{Key}?retention&versionIdVersionId HTTP/1.1 Host: xxx.zos.ctyun.cn AcceptEncoding: identity xamzcontentsha256: ContentSHA256 xamzdate: 20220412T100505Z Authorization: string 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： Bucket的名称。 String 是 Key 参数解释： 对象名称。 String 是 versionId 参数解释： 对象的版本ID。 String 否 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000008100624e501c1217bdefault Date: Thu, 07 Apr 2022 02:44:44 GMT Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息参数 参数名称 参数描述 类型 Retention 参数解释： 对象保留期限配置。 Container 表Retention 参数名称 参数描述 类型 Mode 参数解释： 对象保留期限模式。 取值范围： GOVERNANCE：监管模式 COMPLIANCE：合规性模式 String RetainUntilDate 参数解释： 对象保留期限过期日期。 Date

场景说明 RocketMQ提供了两种连接： 生产者连接：生产者通过调用RocketMQ提供的API，与RocketMQ代理（Broker）建立连接。生产者连接主要用于发送消息到RocketMQ。 消费者连接：消费者通过调用RocketMQ提供的API，与RocketMQ代理（Broker）建立连接。消费者连接主要用于从RocketMQ订阅消息并进行消费。 RocketMQ采用基于TCP/IP的通信协议，使用长连接方式进行连接。在建立连接之前，需要配置正确的RocketMQ服务端地址和端口，并使用相应的身份验证信息（如AccessKey和SecretKey）进行认证。 建立连接后，RocketMQ客户端可以通过连接发送消息到RocketMQ集群，并从集群中接收消息进行消费。连接的建立和维护是RocketMQ消息传递的基础，确保了消息的可靠传递和高效处理。 操作步骤 首先需要在RocketMQ控制台实例详情记录下集群的接入点信息，目前默认支持Namesrv的内网访问，将该地址作为客户端程序Namesrv地址的参数，具体生产消费消息的客户端示例代码请参考快速入门生产消费验证。 1、 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2、 登录分布式消息服务RocketMQ控制台，点击右上角地域选择对应资源池。 3、 进入实例列表，点击【管理】按钮进入管理菜单。 4、 进入主题管理菜单，点击【拨测】按钮，进行生产消费的拨测验证，验证开通的消息实例和主题。 5、 用户应用按照规范接入RocketMQ，发送、消费消息。

指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 异常（exception，MoquetteBroker调用的异常信息统计。） exceptionType 异常类型 异常类型 ENUM LAST 异常（exception，MoquetteBroker调用的异常信息统计。） causeType 异常类 发生异常的类 ENUM LAST 异常（exception，MoquetteBroker调用的异常信息统计。） count 次数 该异常的发生次数 INT SUM 异常（exception，MoquetteBroker调用的异常信息统计。） message 异常消息 该异常产生的异常消息 STRING LAST 异常（exception，MoquetteBroker调用的异常信息统计。） stackTrace 异常堆栈 该异常产生的堆栈信息 CLOB LAST MoquetteBroker版本（version，MoquetteBroker版本。） MoquetteBroker主题汇总（total，MoquetteBroker主题汇总信息统计。） version 版本 版本 STRING LAST MoquetteBroker版本（version，MoquetteBroker版本。） MoquetteBroker主题汇总（total，MoquetteBroker主题汇总信息统计。） msgSentCount 消息推送次数 总的消息推送次数 INT SUM MoquetteBroker版本（version，MoquetteBroker版本。） MoquetteBroker主题汇总（total，MoquetteBroker主题汇总信息统计。） bytesSent 消息推送字节数 总消息推送字节数 INT SUM MoquetteBroker版本（version，MoquetteBroker版本。） MoquetteBroker主题汇总（total，MoquetteBroker主题汇总信息统计。） msgReceivedCount 消息接收次数 总消息接收次数 INT SUM MoquetteBroker版本（version，MoquetteBroker版本。） MoquetteBroker主题汇总（total，MoquetteBroker主题汇总信息统计。） bytesReceived 消息接收字节数 总消息接收字节数 INT SUM MoquetteBroker主题维度监控（brokerTopic，MoquetteBroker主题维度监控。） topic 主题 主题 ENUM LAST MoquetteBroker主题维度监控（brokerTopic，MoquetteBroker主题维度监控。） subscribeCount 订阅数 订阅数 INT SUM MoquetteBroker主题维度监控（brokerTopic，MoquetteBroker主题维度监控。） msgSentCount 消息推送次数 消息推送次数 INT SUM MoquetteBroker主题维度监控（brokerTopic，MoquetteBroker主题维度监控。） bytesSent 消息推送字节数 消息推送字节数 INT SUM MoquetteBroker主题维度监控（brokerTopic，MoquetteBroker主题维度监控。） msgReceivedCount 消息接收次数 消息接收次数 INT SUM MoquetteBroker主题维度监控（brokerTopic，MoquetteBroker主题维度监控。） bytesReceived 消息接收字节数 消息接收字节数 INT SUM

名词解释 环境 目前天翼云Prometheus服务支持容器环境与云服务环境。 容器环境：每个云容器集群对应一个独立的容器环境。针对容器环境，Prometheus提供了自动化的监控采集链路，完成探针安装、数据采集、数据加工等工作。 云服务环境：对于常规云服务产品的数据采集，将按照资源池进行划分，为每个资源池创建各自的云服务环境。 组件 接入管理的每一个选项卡片即为一个组件，目前支持容器集群、分布式缓存服务Redis版、分布式消息服务Kafka与分布式容器云平台CCE ONE组件接入。 操作步骤 1. 登录Prometheus监控服务控制台。 2. 在左侧导航栏，单击接入中心。 3. 在接入中心页面，单击目标组件卡片接入数据。 4. 在弹出的面板中，在开始接入页签下，选择所属的环境类型。 5. 根据控制台提示配置相应参数，如选择对应的容器集群。 6. 点击确定，等待环境初始化、组件安装以及数据检查完成。 如果一切正常，接入完成后您可以进入接入管理的环境详情页面查询接入的大盘或告警规则，也可以探索产生的指标。 如果遇到异常，可根据异常提示进行相应的操作。

步骤二：测试验证 1. 登录分布式消息服务Kafka管理控制台。 2. 在左侧导航栏，单击实例列表，选择事件流的源实例。 3. 在主题管理页面，选择源的目标主题，操作列点击更多 ，然后点击生产消息。 4. 在生产消息对话框输入想要发送的消息，然后点击发送消息。 5. 发送消息后返回实例列表，选择事件流的目标实例，进入管理。 6. 在消息查询页面，选择目标实例的目标主题，然后按时间查询，查询最近收到的消息。 7. 查看查询到的Key和Value值是否与生产的消息一致，详见图2。 图2 在分布式消息服务Kafka管理控制台查看消息详情

功能说明 当实例磁盘使用率达到指定阈值后，可选择磁盘自动扩容或动态消息保留策略来调整磁盘空间。 磁盘自动扩容 当磁盘使用率达到指定阈值后，系统会自动根据扩容策略增加磁盘容量，避免出现实例因磁盘容量不足产生的故障。 动态消息保留策略 当磁盘使用率达到指定阈值后，系统会自动根据消息保留策略删除一定比例的主题最早消息数据，释放磁盘空间。 约束与变更影响 动态消息保留策略和磁盘自动扩容同时最多只能开启一个。 磁盘自动扩容不会影响业务，如果短时间内磁盘使用量迅速增加，无法保证在耗尽磁盘空间前完成磁盘自动扩容。建议提前做好容量规划，先根据磁盘使用量做好扩容，再开启磁盘自动扩容。 动态消息保留策略触发后会删除最早的主题消息，可能导致消费者未及时消费的消息被删除，且调整效果存在一定延迟。建议及时消费数据，减少数据堆积。 触发动态消息保留策略后，主题的保留时长参数会被按比例减小且不会自动恢复，如后续需要调整请到主题管理页面进行操作。 前提条件 实例磁盘字段扩容会产生相应的费用，请确保账户余额充足。

版本 描述 1.1.1 1、增加Javaagent关键内置对象指标 2、修复集成Nacos的内存占用问题 1.2.0 1、修复Springboot 2.5.15版本引用的Tomcat 9.0.75出现接口404问题 2、修复Agent运行一段时间后上报数据异常问题3、优化Agent内存占用 1.4.0 1、优化应用配置下发通道 2、修复异常数统计不准问题 3、修复Localhost显示Ipv6地址问题 1.5.0 1、新增Header和URL参数拦截功能 2、新增Netty内存指标展示 3、新增自定义URL状态码功能4 、新增自定义慢请求阈值 5、新增URL采集黑名单 1.5.1 1、新增Java方法拦截功能 2、新增Elasticsearch、Mongodb、Clickhouse等数据库指标展示 3、新增C3P0、DBCP、Druid等数据库连接池指标展示 4、新增Tomcat连接池指标展示 5、新增耗时区间分布统计 6、新增解析特定业务返回码功能 7、新增URL级别慢请求采样率设置功能 1.6.1 1、新增mysql原始sql采集配置项 2、新增jmx指标展示和隐藏动态配置项 3、javaagent兜底采样功能 4、新增xxljob指标展示 1.7.0 1、新增消息队列rocketmq监控指标 2、新增数据库Postgresql监控指标 3、新增慢、异常span自动打标签并支持过滤 4、新增自定义tag搜索能力 5、新增调用链支持散点图、全链路聚合展示 6、新增代码热点图 1.8.0 1、javaagent上报新增项目、环境信息 1.8.2 1、新增应用诊断线程分析功能 2、新增系统负载数，系统CPU使用率、用户CPU使用率、等待IO完成率、系统PageCache内存、BufferCache内存指标 3、新增磁盘总数、磁盘空闲数、磁盘使用数指标 4、新增支持javaagent对上报数据拆包 5、新增支持默认的和用户自定义URL规整规则 1.9.0 1、新增springbean方法采集功能 2、新增全局拓扑功能 3、新增应用健康度功能 4、新增URL最大采集条字符配置 2.0.0 1、支持自动生成项目、分组、环境、应用 2、优化agent日志输出 2.1 1、支持业务联系分析功能 2、修复ApacheTttpClient4.x下游traceId丢失问题 2.2.2 1、支持jdk21

创建实例时开启SASLSSL访问，则数据加密传输，安全性更高。 由于安全问题，支持的加密套件为TLSECDHEECDSAWITHAES128CBCSHA256，TLSECDHERSAWITHAES128CBCSHA256和TLSECDHERSAWITHAES128GCMSHA256。 本节介绍如何使用开源的Kafka客户端访问开启SASL的Kafka专享实例的方法。 说明： 使用SASL方式连接Kafka实例时，为了客户端能够快速解析实例的Broker，建议在客户端所在主机的“/etc/hosts”文件中配置host和IP的映射关系。 其中，IP地址必须为实例连接地址（Broker地址），host为每个实例主机的名称（您可以自定义主机的名称，但不能重复）。 例如： 10.154.48.120 server01 10.154.48.121 server02 10.154.48.122 server03 前提条件 已配置正确的安全组。 访问开启SASL的Kafka专享实例时，支持VPC内访问。实例需要配置正确的安全组规则，具体安全组配置要求，请参考表32。 已获取连接Kafka专享版实例的地址。 使用VPC内访问，实例端口为9093，实例连接地址获取如下图。 获取VPC内访问Kafka专享实例的连接地址（实例已开启SASL） Kafka专享实例已创建Topic，否则请提前创建Topic。 已下载client.truststore.jks证书。如果没有，在控制台单击Kafka实例名称，进入实例详情页面，在“基本信息 > 高级配置 > Kafka SASLSSL”所在行，单击 。下载压缩包后解压，获取压缩包中的客户端证书文件：client.truststore.jks。 已下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本，确保Kafka实例版本与命令行工具版本相同。 已在Kafka命令行工具的使用环境中安装Java Development Kit 1.8.111或以上版本，并完成环境变量配置。 命令行模式连接实例 以下操作命令以Linux系统为例进行说明。 解压Kafka命令行工具。 进入文件压缩包所在目录，然后执行以下命令解压文件。 tar zxf [kafkatar] 其中，[kafkatar]表示命令行工具的压缩包名称。 例如： tar zxf kafka2.111.1.0.tgz 修改Kafka命令行工具配置文件。 在Kafka命令行工具的“/config”目录中找到“consumer.properties”和“producer.properties”文件，并分别在文件中增加如下内容。 sasl.jaas.configorg.apache.kafka.common.security.plain.PlainLoginModule required username"" password""; sasl.mechanismPLAIN security.protocolSASLSSL ssl.truststore.location/opt/kafka2.111.1.0/config/client.truststore.jks ssl.truststore.passworddms@kafka ssl.endpoint.identification.algorithm 参数说明： username和password为创建Kafka专享实例过程中开启SASLSSL时填入的用户名和密码。 ssl.trustore.location配置为client.truststore.jks证书的存放路径。注意，Windows系统下证书路径中也必须使用“/”，不能使用Windows系统中拷贝路径时的“”，否则客户端获取证书失败。 ssl.truststore.password为服务器证书密码，不可更改，需要保持为dms@kafka。 ssl.endpoint.identification.algorithm为证书域名校验开关，为空则表示关闭。这里需要保持关闭状态，必须设置为空。 进入Kafka命令行工具的“/bin”目录下。 注意，Windows系统下需要进入“/bin/windows”目录下。 执行如下命令进行生产消息。 ./kafkaconsoleproducer.sh brokerlist ${连接地址} topic ${Topic名称} producer.config ../config/producer.properties 参数说明如下： 连接地址：从前提条件获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 如下示例，Kafka实例连接地址为“10.xxx.xxx.202:9093,10.xxx.xxx.197:9093,10.xxx.xxx.68:9093”。 执行完命令后，输入需要生产的消息内容，按“Enter”发送消息到Kafka实例，输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecskafka bin]

参数名 描述 集群 显示上级父租户所在集群。 父租户资源 显示上级父租户的名称。 名称 指定当前租户的名称，长度为3~50个字符，可包含数字、字母或下划线（）。 根据业务需求规划子租户的名称，不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。 租户资源类型 指定租户是否是一个叶子租户： 选择“叶子租户资源”：当前租户为叶子租户，不支持添加子租户。 选择“非叶子租户资源”：当前租户为非叶子租户，支持添加子租户，但租户层级不能超过5层。 计算资源 为当前租户选择动态计算资源。 选择“Yarn”时，系统自动在Yarn中以子租户名称创建任务队列。 − 如果是叶子租户，叶子租户可直接提交到任务队列中。 − 如果是非叶子租户，非叶子租户不能直接将任务提交到队列中。 但是，Yarn会额外为非叶子租户增加一个任务队列（隐含），队列默认命名为“default”，用于统计当前租户剩余的资源容量，实际任务不会分配在此队列中运行。 不选择“Yarn”时，系统不会自动创建任务队列。 配置模式 计算资源参数配置模式。 选择“基础”时，只需配置“默认资源池容量 （%）”参数即可。 选择“高级”时，可手动配置资源分配权重，租户的最小/最大/预留资源。 默认资源池容量（%） 配置当前租户使用的计算资源百分比，基数为父租户的资源总量。 权重 资源分配权重，取值范围从0到100。 最小资源 保证租户资源能获得的资源（有抢占支持）。取值可以是父租户资源的百分比或绝对值。当租户资源作业量比较少时，资源会自动借给其他租户资源，当租户资源能使用的资源不满足最小资源时，可以通过抢占来要回之前借出的资源。 最大资源 租户资源最多能使用的资源，租户资源不能得到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。 预留资源 租户资源预留资源。即使租户资源内没有作业，预留的资源也不能给别的租户资源使用。取值可以是父租户资源的百分比或绝对值。 存储资源 为当前租户选择存储资源。 选择“HDFS”时，系统将自动在HDFS父租户目录中，以子租户名称创建文件夹。 不选择“HDFS”时，系统不会分配存储资源。 文件目录数上限 配置文件和目录数量配额。 存储空间配额 配置当前租户使用的HDFS存储空间配额。 当存储空间配额单位设置为MB时，范围为1～8796093022208，当“存储空间配额单位”设置为GB时，范围为1～8589934592。 此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。 如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。 如果此配额大于父租户的配额，实际存储量不超过父租户配额。 存储路径 配置租户在HDFS中的存储目录。 系统默认将自动在父租户目录中以子租户名称创建文件夹。例如子租户“ta1s”，父目录为“/tenant/ta1”，系统默认自动配置此参数值为“/tenant/ta1/ta1s”，最终子租户的存储目录为“/tenant/ta1/ta1s”。 支持在父目录中自定义存储路径。 服务 是否需要关联使用其他服务的资源，参见步骤4。 描述 配置当前租户的描述信息

功能说明 DeleteBucketTagging接口用于删除Bucket上的标签。该操作需要s3:PutBucketTagging权限，桶的拥有者默认具有该权限。 注意事项 通过API设置桶标签和通过控制台设置桶标签是完全不同的两套标签功能，二者不互通，故通过API删除桶标签只能删除通过API或SDK设置的桶标签，无法删除通过控制台设置的桶标签。 请求消息样式 plaintext DELETE /{Bucket}?tagging HTTP/1.1 Host: xxxx.zos.ctyun.cn ContentLength: 0 xamzcontentsha256: e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 xamzdate: 20220408T030447Z Authorization: string 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000000500624fa64f2a818nanjing3 ContentType: application/xml ContentLength: 0 Date: Fri, 08 Apr 2022 03:04:47 GMT Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。

功能说明 删除Bucket上的标签。该操作需要s3:PutBucketTagging权限，桶的拥有者默认具有该权限。 注意事项 通过API设置桶标签和通过控制台设置桶标签是完全不同的两套标签功能，二者不互通，故通过API删除桶标签只能删除通过API或SDK设置的桶标签，无法删除通过控制台设置的桶标签。 请求消息样式 plaintext DELETE /{Bucket}?tagging HTTP/1.1 Host: xxxx.zos.ctyun.cn XAmzContentSHA256: e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 ContentLength: 0 Authorization: string XAmzDate: 20220408T030447Z 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000000500624fa64f2a818nanjing3 ContentType: application/xml ContentLength: 0 Date: Fri, 08 Apr 2022 03:04:47 GMT Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。

配置资源 配置队列及任务优先级，如果还未创建队列，请参考“创建队列”相关的文档，创建完成之后点击 “创建队列” 旁边的刷新按钮再进行队列选择。 按需配置CPU、内存、GPU、NPU资源。 其他配置 root用户启动：如果关闭了 “工作空间目录配置” 选项可以选择将root用户启动关闭，将使用非root用户启动容器。 模型分析：打开模型分析时，会在创建开发机时自动创建TensorBoard服务，模型分析配置会自动关联前面数据集配置中已选择的私有数据集（仅支持配置私有数据集，公共数据集具有只读权限无法进行文件写入），可以选择不打开模型分析，后续再单独创建。 环境变量按需进行配置。 点击创建。 远程访问 查看开发机列表 等待新建开发机的“访问”按钮可点击后，访问提示信息中的链接，先选择资源池信息，然后配置“弹性负载均衡>访问策略组”，修改isuitenotebookacl策略组的配置（默认只放开了127.0.0.1地址），需要增加本地客户端的出口IP配置。 获取本机出口IP的方式可通过百度搜索“ip地址”进行查询。 配置完成后回到“智算套件>AI应用开发”控制台，点击对应开发机的 “访问” 按钮即可访问该开发机，工作空间会显示持久化存储中保存的文件等。

开发机资源配置 配置队列及任务优先级，如果还未创建队列，请参考“创建队列”相关的文档，创建完成之后点击 “创建队列” 旁边的刷新按钮再进行队列选择。 按需配置CPU、内存、GPU、NPU资源。 其他配置 root用户启动：如果关闭了 “工作空间目录配置” 选项可以选择将root用户启动关闭，将使用非root用户启动容器。 模型分析：打开模型分析时，会在创建开发机时自动创建TensorBoard服务，模型分析配置会自动关联前面数据集配置中已选择的私有数据集（仅支持配置私有数据集，公共数据集具有只读权限无法进行文件写入），可以选择不打开模型分析，后续再单独创建。 环境变量按需进行配置。 点击创建。 开发机远程访问 查看开发机列表 等待新建开发机的“访问”按钮可点击后，访问提示信息中的链接，先选择资源池信息，然后配置“弹性负载均衡>访问策略组”，修改isuitenotebookacl策略组的配置（默认只放开了127.0.0.1地址），需要增加本地客户端的出口IP配置。 获取本机出口IP的方式可通过百度搜索“ip地址”进行查询。 配置完成后回到“智算套件>AI应用开发”控制台，点击对应开发机的 “访问” 按钮即可访问该开发机，工作空间会显示持久化存储中保存的文件等。

向主题添加订阅 要接收发布至主题的消息，您必须添加一个订阅终端节点到该主题。消息通知服务会发送一条订阅确认的消息到订阅终端，订阅确认的消息将在48小时内有效。如果订阅者在48小时之内确认订阅，将会收到推送至主题的消息。如果订阅者在48小时之内没有确认订阅，则需要再次给订阅者发送订阅确认的消息。 1.登录管理控制台。 2.选择“管理与监管 > 消息通知服务”。 进入消息通知服务页面。 3.在左侧导航栏，选择“主题管理 > 主题”。 进入主题页面。 4.在主题列表中，选择您要向其添加订阅者的主题，在右侧“操作”栏单击“添加订阅”。 此时将显示“添加订阅”对话框。 其中：协议参数选项为“短信”、“邮件”、FunctionGraph（函数）HTTP、HTTPS。 订阅终端参数为订阅的终端地址，短信、邮件终端支持批量输入，批量添加时，每个终端地址占一行。最多可输入10个终端。 5.单击“确定”。 新增订阅将显示在页面下方的订阅列表中。 向订阅者发送消息 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 3.单击“告警管理”。 4.选择“消息订阅规则 > 添加消息订阅规则”，进入添加消息订阅页面。 5.配置消息订阅规则相关参数。 消息订阅规则参数说明 参数 说明 规则名称 用户自定义发送订阅消息的规则名称，只能包含数字、英文字符、中划线和下划线。 提醒通知 选择开启时，将按照该订阅规则为订阅者发送对应订阅消息。 选择关闭时，该规则不会生效，即不会向订阅者发送订阅消息。 主题名称 选择已创建的主题，也可以单击“创建主题”重新创建。 消息类型 选择需要订阅的消息类型。 告警 事件 订阅规则 选择需要订阅的消息规则，可根据需要勾选全部或部分规则。 、 MRS 3.x及之后版本订阅规则： 告警：紧急，重要，次要 事件：重要，次要，提示 MRS 3.x之前版本订阅规则： 致命 严重 一般 提示 6.单击“确定”完成消息提醒配置。

本文介绍科研助手的应用类常见问题。 科研助手适用哪些场景？ HPC：适用于视频渲染、视频转码（视频格式转换、视频分辨率变化、添加水印/logo的）、科研教育等领域。 科学计算：适用于仿真模拟、化学分子计算、流体计算等。 生物分析：适用于基因测序、药物检测等领域。 科研助手的核心功能有哪些？ 多资源池管理： 底层资源池ECK专有资源、Serverless共享容器资源池、ECX虚拟机资源池满足不同价格区间的业务需求。 队列管理： 提供对作业队列管理，支持CPU/GPU作业和队列管理。 开发环境： 以云原生的资源使用和开发工具链的集成，为不同类型开发、探索、教学用户，提供更好云化开发体验。

响应消息头 描述 说明 XRequestId 请求ID 所有合法请求，都会返回此参数 XApigLatency 从API网关接收请求到后端返回消息头的用时 仅在请求消息头包含XApigMode: debug时，返回此参数 XApigUpstreamLatency 从API网关请求后端到后端返回消息头的用时 仅在请求消息头包含XApigMode: debug，且后端服务类型不为Mock时，返回此参数 XApigRateLimitapi API流量控制信息 示例：remain:9,limit:10,time:10 second 仅在请求消息头包含XApigMode: debug，且API配置了API流量控制时，返回此参数 XApigRateLimituser 用户流量限制信息 示例：remain:9,limit:10,time:10 second 仅在请求消息头包含XApigMode: debug，且API配置了用户流量限制时，返回此参数 XApigRateLimitapp 应用流量限制信息 示例：remain:9,limit:10,time:10 second 仅在请求消息头包含XApigMode: debug，且API配置了应用流量限制时，返回此参数 XApigRateLimitip 源IP流量限制信息 示例：remain:9,limit:10,time:10 second 仅在请求消息头包含XApigMode: debug，且API配置了源IP流量限制时，返回此参数 XApigRateLimitapiallenv API默认流控信息 示例：remain:199,limit:200,time:1 second 仅在请求消息头包含XApigMode: debug时，返回此参数

本文介绍消息管理功能的使用方式。 使用说明 1. 登录ECX控制台。 2. 在左侧栏找到【服务管理>消息管理】并点击进入。 3. 消息管理版块可以配置接收消息的邮箱、安全验证方式、消息接收组。 邮箱 点击【邮箱】，可以查看注册邮箱、默认的消息通知都将发送到注册邮箱中，如果您的天翼云账号不是以邮箱注册的，可以在【天翼云官网>我的>账号中心>基本信息、安全设置】版块，绑定一个邮箱。 安全验证 点击【安全验证】，可以设置敏感操作保护，开启后，进行敏感操作时，将需要进行安全验证。 消息接收组 点击【消息接收组】，可以查看、创建、管理消息接收组，一个消息接收组中支持配置企业微信机器人地址、钉钉订阅地址、多个邮箱及手机号，用于接收告警消息。所有接收组中的手机号，共享短信通知配额。

介绍分布式消息服务Kafka按位点查询的功能操作内容。 场景描述 Kafka按位点查询是指通过指定偏移量或时间戳来查询Kafka主题中的消息。以下是一些常见的按位点查询的场景描述： 数据回溯：当需要回溯到过去的某个时间点或特定的消息偏移量时，可以使用按位点查询功能。这在故障排查、数据分析和报告生成等场景中非常有用，可以准确地获取特定时间点或消息的数据。 数据恢复：在某些情况下，如果由于意外情况导致数据丢失或损坏，可以使用按位点查询来恢复丢失的数据。通过指定偏移量或时间戳，可以定位到丢失数据之前的位置，然后将数据重新消费或导出。 数据验证：按位点查询还可以用于数据验证和一致性检查。通过指定特定的偏移量或时间戳，可以比较不同主题或分区之间的消息，以确保数据的一致性和正确性。 数据分析：按位点查询对于数据分析和统计也非常有用。通过指定特定的时间戳或偏移量范围，可以获取所需的数据子集，并对其进行进一步的分析和处理。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消息查询”后默认就是按位点查询。 （5）下拉选择topic可以切换要查询的topic，填写offset消息位置，partition分区编号，可查询该分区offset位置开始的10条消息。 （6）点击消息列表的“消息详情”可查看消息详情信息

方案一：先迁生产，再迁消费 指先将生产消息的业务迁移到新的Kafka，原Kafka不会有新的消息生产。待原有Kafka实例的消息全部消费完成后，再将消费消息业务迁移到新的Kafka，开始消费新Kafka实例的消息。 1、将生产客户端的Kafka连接地址修改为新Kafka实例的连接地址。 2、重启生产业务，使得生产者将新的消息发送到新Kafka实例中。 3、观察各消费组在原Kafka的消费进度，直到原Kafka中数据都已经被消费完毕。 4、将消费客户端的Kafka连接地址修改为新Kafka实例的连接地址。 5、重启消费业务，使得消费者从新Kafka实例中消费消息。 6、观察消费者是否能正常从新Kafka实例中获取数据。 7、迁移结束。 本方案为业界通用的迁移方案，操作步骤简单，迁移过程由业务侧自主控制，整个过程中消息不会存在乱序问题， 适用于对消息顺序有要求的场景 。但是该方案中需要等待消费者业务直至消费完毕，存在一个时间差的问题，部分数据可能存在较大的端到端时延。 方案二：同时消费，后迁生产 指消费者业务启用多个消费客户端，分别向原Kafka和新Kafka实例消费消息，然后将生产业务切到新Kafka实例，这样能确保所有消息都被及时消费。 1、启动新的消费客户端，配置Kafka连接地址为新Kafka实例的连接地址，消费新Kafka实例中的数据。 说明 原有消费客户端需继续运行，消费业务同时消费原Kafka与新Kafka实例的消息。 2、修改生产客户端，Kafka连接地址改为新Kafka实例的连接地址。 3、重启生产客户端，将生产业务迁移到新Kafka实例中。 4、生产业务迁移后，观察连接新Kafka实例的消费业务是否正常。 5、等待原Kafka中数据消费完毕，关闭原有消费业务客户端。 6、迁移结束。 迁移过程由业务自主控制。本方案中消费业务会在一段时间内同时消费原Kafka和新Kafka实例。由于在迁移生产业务之前，已经有消费业务运行在新Kafka实例上，因此不会存在端到端时延的问题。但在迁移生产的开始阶段，同时消费原Kafka与新Kafka实例，会导致部分消息之间的生产顺序无法保证，存在消息乱序的问题。此场景 适用于对端到端时延有要求，却对消息顺序不敏感的业务 。 FAQ：如何将持久化数据也一起迁移 如果需要将原Kafka的已消费数据也迁移到Kafka专享实例，可以使用开源工具MirrorMaker，模拟成原Kafka的消费客户端，以及新Kafka实例的生产客户端，将Kafka所有消息数据迁移到新的Kafka实例。 需要注意的是，天翼云Kafka实例为3副本存储，因此建议实例存储空间为原业务的单副本消息存储的3倍。

在业务场景允许的情况下，优先选择无序消息，或者在业务能变通的情况下，将有序消息转化为无序消息。 无序消息的优点： 生产者可以使用多进程、多线程往同一个Topic发送消息，性能更好。 消费者可以使用多进程、多线程同时消费，性能较好。 可以充分使用集群的Failover特点，无须依赖自动主备切换（切换过程服务会中断），包括： 当集群中某一Broker节点故障时，不影响业务消息生产，消息将failover发送到其它节点； 当集群中某一Broker节点故障时，不影响其它节点数据消费，故障恢复后即可消费。 能动态地扩容。 有序消息的缺点： 对于有序消息，当节点故障时，Queue数不会变化，生产与消费都会出现异常，直到故障节点恢复。 对于有序消息，需要将所有消息消费完，并且停止客户端，才能扩容。

功能说明 GetBucketVersioning可以获取某个桶的多版本配置信息。 请求消息样式 plaintext GET /{Bucket}?versioning HTTP/1.1 Host: xxx.zos.ctyun.cn AcceptEncoding: identity xamzdate: 20220407T135856Z xamzcontentsha256: e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 Authorization: string ContentLength: 0 请求消息参数 参数名称 描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000001300624d2ce65403fdefault ContentType: application/xml ContentLength: 192 Date: Wed, 06 Apr 2022 06:02:14 GMT Connection: KeepAlive Enabled Disabled 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 参数名称 参数描述 类型 VersioningConfiguration 参数解释： 桶的多版本配置信息。 Container 表VersioningConfiguration 参数名称 参数描述 类型 Status 参数解释： 桶的版本控制状态信息。假如从没设置过多版本，则没有该字段信息。 取值范围： Enabled：开启 Suspended：暂停 String MfaDelete 参数解释： 桶的多版本删除保护状态信息，展示是否启用MFA 删除。 String