配置资源 配置队列及任务优先级，如果还未创建队列，请参考“创建队列”相关的文档，创建完成之后点击 “创建队列” 旁边的刷新按钮再进行队列选择。 按需配置CPU、内存、GPU、NPU资源。 其他配置 root用户启动：如果关闭了 “工作空间目录配置” 选项可以选择将root用户启动关闭，将使用非root用户启动容器。 模型分析：打开模型分析时，会在创建开发机时自动创建TensorBoard服务，模型分析配置会自动关联前面数据集配置中已选择的私有数据集（仅支持配置私有数据集，公共数据集具有只读权限无法进行文件写入），可以选择不打开模型分析，后续再单独创建。 环境变量按需进行配置。 点击创建。 远程访问 查看开发机列表 等待新建开发机的“访问”按钮可点击后，访问提示信息中的链接，先选择资源池信息，然后配置“弹性负载均衡>访问策略组”，修改isuitenotebookacl策略组的配置（默认只放开了127.0.0.1地址），需要增加本地客户端的出口IP配置。 获取本机出口IP的方式可通过百度搜索“ip地址”进行查询。 配置完成后回到“智算套件>AI应用开发”控制台，点击对应开发机的 “访问” 按钮即可访问该开发机，工作空间会显示持久化存储中保存的文件等。

开发机资源配置 配置队列及任务优先级，如果还未创建队列，请参考“创建队列”相关的文档，创建完成之后点击 “创建队列” 旁边的刷新按钮再进行队列选择。 按需配置CPU、内存、GPU、NPU资源。 其他配置 root用户启动：如果关闭了 “工作空间目录配置” 选项可以选择将root用户启动关闭，将使用非root用户启动容器。 模型分析：打开模型分析时，会在创建开发机时自动创建TensorBoard服务，模型分析配置会自动关联前面数据集配置中已选择的私有数据集（仅支持配置私有数据集，公共数据集具有只读权限无法进行文件写入），可以选择不打开模型分析，后续再单独创建。 环境变量按需进行配置。 点击创建。 开发机远程访问 查看开发机列表 等待新建开发机的“访问”按钮可点击后，访问提示信息中的链接，先选择资源池信息，然后配置“弹性负载均衡>访问策略组”，修改isuitenotebookacl策略组的配置（默认只放开了127.0.0.1地址），需要增加本地客户端的出口IP配置。 获取本机出口IP的方式可通过百度搜索“ip地址”进行查询。 配置完成后回到“智算套件>AI应用开发”控制台，点击对应开发机的 “访问” 按钮即可访问该开发机，工作空间会显示持久化存储中保存的文件等。

系统角色/策略名称 描述 类别 依赖关系 DMS FullAccess 分布式消息服务管理员权限，拥有该权限的用户可以操作所有分布式消息服务的功能。 系统策略 无 DMS UserAccess 分布式消息服务普通用户权限（没有实例创建、修改、删除、扩容）。 系统策略 无 DMS ReadOnlyAccess 分布式消息服务的只读权限，拥有该权限的用户仅能查看分布式消息服务数据。 系统策略 无 DMS Administrator 分布式消息服务的管理员权限。 系统角色 依赖Tenant Guest和VPC Administrator。

请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code acceptranges: AcceptRanges LastModified: LastModified ContentLength: ContentLength ETag: ETag Date: Date Connection: KeepAlive xamzrequestid: Request Id 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

本章主要介绍响应消息头。 调用API时，API网关增加如下响应消息头。 XApigMode: debug表示响应消息头增加API网关调试信息。 响应消息头 描述 说明 ::: XRequestId 请求ID 所有合法请求，都会返回此参数 XApigLatency 从API网关接收请求到后端返回消息头的用时 仅在请求消息头包含XApigMode: debug时，返回此参数 XApigUpstreamLatency 从API网关请求后端到后端返回消息头的用时 仅在请求消息头包含XApigMode: debug，且后端服务类型不为Mock时，返回此参数 XApigRateLimitapi API流量控制信息 示例：remain:9,limit:10,time:10 second 仅在请求消息头包含XApigMode: debug，且API配置了API流量控制时，返回此参数 XApigRateLimituser 用户流量限制信息 示例：remain:9,limit:10,time:10 second 仅在请求消息头包含XApigMode: debug，且API配置了用户流量限制时，返回此参数 XApigRateLimitapp 应用流量限制信息 示例：remain:9,limit:10,time:10 second 仅在请求消息头包含XApigMode: debug，且API配置了应用流量限制时，返回此参数 XApigRateLimitip 源IP流量限制信息 示例：remain:9,limit:10,time:10 second 仅在请求消息头包含XApigMode: debug，且API配置了源IP流量限制时，返回此参数 XApigRateLimitapiallenv API默认流控信息 示例：remain:199,limit:200,time:1 second 仅在请求消息头包含XApigMode: debug时，返回此参数

功能说明 GetObjectRetention获取对象的保留期限设置。 请求消息样式 plaintext GET /{Bucket}/{Key}?retention&versionIdVersionId HTTP/1.1 Host: xxx.zos.ctyun.cn AcceptEncoding: identity xamzcontentsha256: ContentSHA256 xamzdate: 20220412T100505Z Authorization: string 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： Bucket的名称。 String 是 Key 参数解释： 对象名称。 String 是 versionId 参数解释： 对象的版本ID。 String 否 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000008100624e501c1217bdefault Date: Thu, 07 Apr 2022 02:44:44 GMT Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息参数 参数名称 参数描述 类型 Retention 参数解释： 对象保留期限配置。 Container 表Retention 参数名称 参数描述 类型 Mode 参数解释： 对象保留期限模式。 取值范围： GOVERNANCE：监管模式 COMPLIANCE：合规性模式 String RetainUntilDate 参数解释： 对象保留期限过期日期。 Date

指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 异常（exception，MoquetteBroker调用的异常信息统计。） exceptionType 异常类型 异常类型 ENUM LAST 异常（exception，MoquetteBroker调用的异常信息统计。） causeType 异常类 发生异常的类 ENUM LAST 异常（exception，MoquetteBroker调用的异常信息统计。） count 次数 该异常的发生次数 INT SUM 异常（exception，MoquetteBroker调用的异常信息统计。） message 异常消息 该异常产生的异常消息 STRING LAST 异常（exception，MoquetteBroker调用的异常信息统计。） stackTrace 异常堆栈 该异常产生的堆栈信息 CLOB LAST MoquetteBroker版本（version，MoquetteBroker版本。） MoquetteBroker主题汇总（total，MoquetteBroker主题汇总信息统计。） version 版本 版本 STRING LAST MoquetteBroker版本（version，MoquetteBroker版本。） MoquetteBroker主题汇总（total，MoquetteBroker主题汇总信息统计。） msgSentCount 消息推送次数 总的消息推送次数 INT SUM MoquetteBroker版本（version，MoquetteBroker版本。） MoquetteBroker主题汇总（total，MoquetteBroker主题汇总信息统计。） bytesSent 消息推送字节数 总消息推送字节数 INT SUM MoquetteBroker版本（version，MoquetteBroker版本。） MoquetteBroker主题汇总（total，MoquetteBroker主题汇总信息统计。） msgReceivedCount 消息接收次数 总消息接收次数 INT SUM MoquetteBroker版本（version，MoquetteBroker版本。） MoquetteBroker主题汇总（total，MoquetteBroker主题汇总信息统计。） bytesReceived 消息接收字节数 总消息接收字节数 INT SUM MoquetteBroker主题维度监控（brokerTopic，MoquetteBroker主题维度监控。） topic 主题 主题 ENUM LAST MoquetteBroker主题维度监控（brokerTopic，MoquetteBroker主题维度监控。） subscribeCount 订阅数 订阅数 INT SUM MoquetteBroker主题维度监控（brokerTopic，MoquetteBroker主题维度监控。） msgSentCount 消息推送次数 消息推送次数 INT SUM MoquetteBroker主题维度监控（brokerTopic，MoquetteBroker主题维度监控。） bytesSent 消息推送字节数 消息推送字节数 INT SUM MoquetteBroker主题维度监控（brokerTopic，MoquetteBroker主题维度监控。） msgReceivedCount 消息接收次数 消息接收次数 INT SUM MoquetteBroker主题维度监控（brokerTopic，MoquetteBroker主题维度监控。） bytesReceived 消息接收字节数 消息接收字节数 INT SUM

功能说明 DeleteBucketTagging接口用于删除Bucket上的标签。该操作需要s3:PutBucketTagging权限，桶的拥有者默认具有该权限。 注意事项 通过API设置桶标签和通过控制台设置桶标签是完全不同的两套标签功能，二者不互通，故通过API删除桶标签只能删除通过API或SDK设置的桶标签，无法删除通过控制台设置的桶标签。 请求消息样式 plaintext DELETE /{Bucket}?tagging HTTP/1.1 Host: xxxx.zos.ctyun.cn ContentLength: 0 xamzcontentsha256: e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 xamzdate: 20220408T030447Z Authorization: string 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000000500624fa64f2a818nanjing3 ContentType: application/xml ContentLength: 0 Date: Fri, 08 Apr 2022 03:04:47 GMT Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。

功能说明 删除Bucket上的标签。该操作需要s3:PutBucketTagging权限，桶的拥有者默认具有该权限。 注意事项 通过API设置桶标签和通过控制台设置桶标签是完全不同的两套标签功能，二者不互通，故通过API删除桶标签只能删除通过API或SDK设置的桶标签，无法删除通过控制台设置的桶标签。 请求消息样式 plaintext DELETE /{Bucket}?tagging HTTP/1.1 Host: xxxx.zos.ctyun.cn XAmzContentSHA256: e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 ContentLength: 0 Authorization: string XAmzDate: 20220408T030447Z 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000000500624fa64f2a818nanjing3 ContentType: application/xml ContentLength: 0 Date: Fri, 08 Apr 2022 03:04:47 GMT Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。

功能说明 当实例磁盘使用率达到指定阈值后，可选择磁盘自动扩容或动态消息保留策略来调整磁盘空间。 磁盘自动扩容 当磁盘使用率达到指定阈值后，系统会自动根据扩容策略增加磁盘容量，避免出现实例因磁盘容量不足产生的故障。 动态消息保留策略 当磁盘使用率达到指定阈值后，系统会自动根据消息保留策略删除一定比例的主题最早消息数据，释放磁盘空间。 约束与变更影响 动态消息保留策略和磁盘自动扩容同时最多只能开启一个。 磁盘自动扩容不会影响业务，如果短时间内磁盘使用量迅速增加，无法保证在耗尽磁盘空间前完成磁盘自动扩容。建议提前做好容量规划，先根据磁盘使用量做好扩容，再开启磁盘自动扩容。 动态消息保留策略触发后会删除最早的主题消息，可能导致消费者未及时消费的消息被删除，且调整效果存在一定延迟。建议及时消费数据，减少数据堆积。 触发动态消息保留策略后，主题的保留时长参数会被按比例减小且不会自动恢复，如后续需要调整请到主题管理页面进行操作。 前提条件 实例磁盘字段扩容会产生相应的费用，请确保账户余额充足。

功能说明 DeleteBucketLifecycle接口用于删除存储桶设置的生命周期规则。 请求消息样式 plaintext DELETE /{Bucket}?lifecycle HTTP/1.1 Host: xxx.zos.ctyun.cn Date: Date ContentLength: ContentLength xamzcontentsha256: ContentSHA256 Authorization: string 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 指定存储桶名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000002e00624e43581217bdefault ContentType: application/xml Date: Thu, 07 Apr 2022 01:50:16 GMT Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

本页介绍天翼云TeleDB数据库消息订阅。 消息订阅可以对不同类型的消息进行订阅，选择需要的消息类型，保存后，订阅类型的消息会在触发时进行推送。

本文为您介绍分布式消息服务MQTT的操作指南资源报表。 分布式消息服务MQTT提供连接数、生产关系数、Topic数、收发tps等历史指标数据的查询。 每分钟生产消息数查询 每分钟消费消息数查询 MQTT连接数查询 MQTT Topic数查询 MQTT订阅数查询 MQTT消息丢弃数查询 统计MQTT连接数、订阅数、生产消费消息数可以帮助： 性能监控： MQTT连接数、订阅数、生产消费消息数统计可以帮助您监控MQTT代理服务器的性能。通过实时查看MQTT连接数、订阅数、生产消费消息数，您可以确定代理服务器是否正常运行，以及是否需要进行性能调整或升级硬件资源。 故障检测： MQTT连接数、订阅数、生产消费消息数统计可以帮助您及早发现可能的故障。如果MQTT连接数、订阅数、生产消费消息数突然增加或减少，可能表明存在连接问题、设备故障或网络问题。这有助于快速识别和解决问题，减少系统停机时间。 资源规划： 了解MQTT连接数、订阅数、生产消费消息数的历史趋势和峰值可以帮助您进行资源规划。如果MQTT连接数、订阅数、生产消费消息数经常超过MQTT代理服务器的容量，您可能需要增加服务器资源或考虑负载均衡来确保系统的可伸缩性。 安全监控： MQTT连接数、订阅数、生产消费消息数统计可以用于安全监控。异常的MQTT连接数、订阅数、生产消费消息数可能表示潜在的安全风险，例如恶意攻击或未经授权的设备连接。通过MQTT连接数、订阅数、生产消费消息数统计，您可以及时发现这些问题并采取适当的安全措施。 优化性能： MQTT连接数、订阅数、生产消费消息数统计还可以用于优化性能。通过分析MQTT连接数、订阅数、生产消费消息数的模式和行为，您可以识别出哪些设备或主题产生了高连接负载，从而可以采取措施来优化系统的设计和配置。 合规性要求： 对于某些行业，例如物联网和金融领域，合规性要求可能需要跟踪和报告MQTT连接数、订阅数、生产消费消息数。MQTT连接数、订阅数、生产消费消息数统计可以帮助您满足这些合规性要求，并生成必要的报告。 综上所述，连接数、订阅关系数、主题数统计在监控、故障检测、资源规划、安全监控、性能优化和合规性要求方面都具有重要作用。它们提供了对MQTT系统运行状况的关键洞察，帮助您保持系统的稳定性、可用性和安全性。

名词解释 环境 目前天翼云Prometheus服务支持容器环境与云服务环境。 容器环境：每个云容器集群对应一个独立的容器环境。针对容器环境，Prometheus提供了自动化的监控采集链路，完成探针安装、数据采集、数据加工等工作。 云服务环境：对于常规云服务产品的数据采集，将按照资源池进行划分，为每个资源池创建各自的云服务环境。 组件 接入管理的每一个选项卡片即为一个组件，目前支持容器集群、分布式缓存服务Redis版、分布式消息服务Kafka与分布式容器云平台CCE ONE组件接入。 操作步骤 1. 登录Prometheus监控服务控制台。 2. 在左侧导航栏，单击接入中心。 3. 在接入中心页面，单击目标组件卡片接入数据。 4. 在弹出的面板中，在开始接入页签下，选择所属的环境类型。 5. 根据控制台提示配置相应参数，如选择对应的容器集群。 6. 点击确定，等待环境初始化、组件安装以及数据检查完成。 如果一切正常，接入完成后您可以进入接入管理的环境详情页面查询接入的大盘或告警规则，也可以探索产生的指标。 如果遇到异常，可根据异常提示进行相应的操作。

参数名 描述 集群 显示上级父租户所在集群。 父租户资源 显示上级父租户的名称。 名称 指定当前租户的名称，长度为3~50个字符，可包含数字、字母或下划线（）。 根据业务需求规划子租户的名称，不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。 租户资源类型 指定租户是否是一个叶子租户： 选择“叶子租户资源”：当前租户为叶子租户，不支持添加子租户。 选择“非叶子租户资源”：当前租户为非叶子租户，支持添加子租户，但租户层级不能超过5层。 计算资源 为当前租户选择动态计算资源。 选择“Yarn”时，系统自动在Yarn中以子租户名称创建任务队列。 − 如果是叶子租户，叶子租户可直接提交到任务队列中。 − 如果是非叶子租户，非叶子租户不能直接将任务提交到队列中。 但是，Yarn会额外为非叶子租户增加一个任务队列（隐含），队列默认命名为“default”，用于统计当前租户剩余的资源容量，实际任务不会分配在此队列中运行。 不选择“Yarn”时，系统不会自动创建任务队列。 配置模式 计算资源参数配置模式。 选择“基础”时，只需配置“默认资源池容量 （%）”参数即可。 选择“高级”时，可手动配置资源分配权重，租户的最小/最大/预留资源。 默认资源池容量（%） 配置当前租户使用的计算资源百分比，基数为父租户的资源总量。 权重 资源分配权重，取值范围从0到100。 最小资源 保证租户资源能获得的资源（有抢占支持）。取值可以是父租户资源的百分比或绝对值。当租户资源作业量比较少时，资源会自动借给其他租户资源，当租户资源能使用的资源不满足最小资源时，可以通过抢占来要回之前借出的资源。 最大资源 租户资源最多能使用的资源，租户资源不能得到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。 预留资源 租户资源预留资源。即使租户资源内没有作业，预留的资源也不能给别的租户资源使用。取值可以是父租户资源的百分比或绝对值。 存储资源 为当前租户选择存储资源。 选择“HDFS”时，系统将自动在HDFS父租户目录中，以子租户名称创建文件夹。 不选择“HDFS”时，系统不会分配存储资源。 文件目录数上限 配置文件和目录数量配额。 存储空间配额 配置当前租户使用的HDFS存储空间配额。 当存储空间配额单位设置为MB时，范围为1～8796093022208，当“存储空间配额单位”设置为GB时，范围为1～8589934592。 此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。 如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。 如果此配额大于父租户的配额，实际存储量不超过父租户配额。 存储路径 配置租户在HDFS中的存储目录。 系统默认将自动在父租户目录中以子租户名称创建文件夹。例如子租户“ta1s”，父目录为“/tenant/ta1”，系统默认自动配置此参数值为“/tenant/ta1/ta1s”，最终子租户的存储目录为“/tenant/ta1/ta1s”。 支持在父目录中自定义存储路径。 服务 是否需要关联使用其他服务的资源，参见步骤4。 描述 配置当前租户的描述信息

功能说明 DeleteBucketInventory删除目标桶的某项桶清单配置。 请求消息样式 plaintext DELETE /{Bucket}?inventory&idxxx HTTP/1.1 Host: xxx.zos.ctyun.cn xamzdate: Date xamzcontentsha256: ContentSHA256 Authorization: Auth String ContentLength: ContentLength 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 id 参数解释： 用来标识清单规则的id。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: Request Id ContentType: ContentType ContentLength: ContentLength Date: Date Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

功能说明 Delete Object请求删除指定的对象。 请求消息样式 plaintext DELETE /{Bucket}/{Key}?versionIdVersionId HTTP/1.1 Host: xxx.zos.ctyun.cn XAmzContentSha256: ContentSHA256 XAmzDate: Date Authorization: Auth String Connection: keepalive 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： Bucket的名称。 String 是 Key 参数解释： 删除对象的Key。 String 是 versionId 参数解释： 删除对象的版本号。 String 否 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: Request Id Date: Date Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

MRS的Storm集群提交任务时如何指定日志路径？ 客户可以根据自己的需求，修改MRS的流式Core节点上的/opt/Bigdata/MRSXXX /1XX Supervisor/etc/worker.xml文件，将标签filename的值设定为客户需要的路径，然后在Manager页面重启对应实例。 建议客户尽量不要修改MRS默认的日志配置，可能会造成日志系统异常。 如何检查Yarn的ResourceManager配置是否正常？ 本案例适用于MRS 3.x之前版本。 登录MRS Manager页面，选择“服务管理 > Yarn > 实例”。 1.分别单击两个ResourceManager名称，选择“更多 > 同步配置”，并选择不勾选“重启配置过期的服务或实例。”。 2.单击“是”进行配置同步。 3.以root用户分别登录Master节点。 4.执行 cd /opt/Bigdata/MRSCurrent/ ResourceManager/etcUPDATED/ 命令进入etcUPDATED目录。 5.执行grep '.queues' capacityscheduler.xml A2找到配置的所有队列，并检查队列和Manager页面上看到的队列是否一一对应。 rootdefault在Manager页面隐藏，在页面看不到属于正常现象。 6.执行grep '.capacity' capacityscheduler.xml A2找出各队列配置的值，检查每个队列配置的值是否和Manager上看到的一致。并检查所有队列配置的值的总和是否是100。 是，则说明配置正常。 否，则说明配置异常，请执行后续步骤修复。 7.登录MRS Manager页面，选择“主机管理”。 8.查找主Master节点，主机名称前带实心五角星的Master节点即为主Master节点。 9.以root用户登录主Master节点。 10.执行su omm切换到omm用户。 11.执行sh /opt/Bigdata/om0.0.1/sbin/restartcontroller.sh重启Controller。 请在Manager页面没有其他操作后重启Controller，重启Controller对大数据组件业务无影响。 12.重新执行步骤1~步骤7同步ResourceManager的配置并检查配置是否正常。 配置同步完成后Manager页面可能显示配置过期，该显示不影响业务，是由于组件没有加载最新的配置，待后续组件重启的时会自动加载。

本章节主要介绍使用TPCH样例模板开发并提交Spark SQL作业。 为了便捷快速的执行SQL操作，DLI支持定制模板或将正在使用的SQL语句保存为模板。保存模板后，不需编写SQL语句，可通过模板直接执行SQL操作。 当前系统提供了多条标准的TPCH查询语句模板，可以根据当前需求选择使用。本样例演示通过一个TPCH样例模板开发并提交Spark SQL作业的基本流程： 操作步骤 1.登录DLI管理控制台。 2.在DLI管理控制台，选择“作业模板”>“SQL模板”>“样例模板”，在“tpchQuery”下找到“Q1价格摘要报告查询”样例模板，单击操作列的“执行”进入“SQL编辑器”。 3.在“SQL编辑器”页面右侧的编辑窗口上方，“执行引擎”选择“spark”，“队列”选择“default”，“数据库”选择“default”，单击“执行”。 4.SQL作业编辑窗口下方“查看结果”页签查看查询结果。 本示例使用系统预置的“default”队列和数据库进行演示，也可以在自建的队列和数据库下执行。 创建队列请参考《数据湖探索用户指南》>《创建队列》。创建数据库请参考《数据湖探索用户指南》下的“数据管理 > 库表管理 > 创建数据库和表”。

创建实例时开启SASLSSL访问，则数据加密传输，安全性更高。 由于安全问题，支持的加密套件为TLSECDHEECDSAWITHAES128CBCSHA256，TLSECDHERSAWITHAES128CBCSHA256和TLSECDHERSAWITHAES128GCMSHA256。 本节介绍如何使用开源的Kafka客户端访问开启SASL的Kafka专享实例的方法。 说明： 使用SASL方式连接Kafka实例时，为了客户端能够快速解析实例的Broker，建议在客户端所在主机的“/etc/hosts”文件中配置host和IP的映射关系。 其中，IP地址必须为实例连接地址（Broker地址），host为每个实例主机的名称（您可以自定义主机的名称，但不能重复）。 例如： 10.154.48.120 server01 10.154.48.121 server02 10.154.48.122 server03 前提条件 已配置正确的安全组。 访问开启SASL的Kafka专享实例时，支持VPC内访问。实例需要配置正确的安全组规则，具体安全组配置要求，请参考表32。 已获取连接Kafka专享版实例的地址。 使用VPC内访问，实例端口为9093，实例连接地址获取如下图。 获取VPC内访问Kafka专享实例的连接地址（实例已开启SASL） Kafka专享实例已创建Topic，否则请提前创建Topic。 已下载client.truststore.jks证书。如果没有，在控制台单击Kafka实例名称，进入实例详情页面，在“基本信息 > 高级配置 > Kafka SASLSSL”所在行，单击 。下载压缩包后解压，获取压缩包中的客户端证书文件：client.truststore.jks。 已下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本，确保Kafka实例版本与命令行工具版本相同。 已在Kafka命令行工具的使用环境中安装Java Development Kit 1.8.111或以上版本，并完成环境变量配置。 命令行模式连接实例 以下操作命令以Linux系统为例进行说明。 解压Kafka命令行工具。 进入文件压缩包所在目录，然后执行以下命令解压文件。 tar zxf [kafkatar] 其中，[kafkatar]表示命令行工具的压缩包名称。 例如： tar zxf kafka2.111.1.0.tgz 修改Kafka命令行工具配置文件。 在Kafka命令行工具的“/config”目录中找到“consumer.properties”和“producer.properties”文件，并分别在文件中增加如下内容。 sasl.jaas.configorg.apache.kafka.common.security.plain.PlainLoginModule required username"" password""; sasl.mechanismPLAIN security.protocolSASLSSL ssl.truststore.location/opt/kafka2.111.1.0/config/client.truststore.jks ssl.truststore.passworddms@kafka ssl.endpoint.identification.algorithm 参数说明： username和password为创建Kafka专享实例过程中开启SASLSSL时填入的用户名和密码。 ssl.trustore.location配置为client.truststore.jks证书的存放路径。注意，Windows系统下证书路径中也必须使用“/”，不能使用Windows系统中拷贝路径时的“”，否则客户端获取证书失败。 ssl.truststore.password为服务器证书密码，不可更改，需要保持为dms@kafka。 ssl.endpoint.identification.algorithm为证书域名校验开关，为空则表示关闭。这里需要保持关闭状态，必须设置为空。 进入Kafka命令行工具的“/bin”目录下。 注意，Windows系统下需要进入“/bin/windows”目录下。 执行如下命令进行生产消息。 ./kafkaconsoleproducer.sh brokerlist ${连接地址} topic ${Topic名称} producer.config ../config/producer.properties 参数说明如下： 连接地址：从前提条件获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 如下示例，Kafka实例连接地址为“10.xxx.xxx.202:9093,10.xxx.xxx.197:9093,10.xxx.xxx.68:9093”。 执行完命令后，输入需要生产的消息内容，按“Enter”发送消息到Kafka实例，输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecskafka bin]

本节主要介绍分布式消息服务Kafka的创建Topic说明 背景信息 Kafka的主题（Topic）是对消息进行分类和组织的概念。主题是Kafka中最基本的逻辑单元，用于区分不同类型的消息。 每个主题可以有多个分区（Partition），每个分区都是一个有序的消息日志。分区允许消息在集群中进行并行处理，提高了吞吐量和并发性能。 主题的特点包括： 逻辑分类：主题可以根据业务需求或数据类型进行逻辑分类，例如订单主题、日志主题、用户行为主题等。 多分区：主题可以被分成多个分区，每个分区都有自己的消息顺序。分区可以在不同的节点上进行存储和处理，实现了水平扩展和负载均衡。 副本复制：每个分区可以有多个副本（Replica），副本用于提供高可用性和容错性。副本可以分布在不同的节点上，当节点故障时可以自动进行故障转移。 持久化存储：主题中的消息被持久化存储在磁盘上，确保消息的可靠性和持久性。消费者可以随时消费主题中的历史消息，而不仅仅是最新的消息。 通过使用主题，Kafka能够有效地组织和管理大规模的消息流。主题的分区和副本机制提供了高可用性和容错性，使得Kafka成为处理大规模实时数据流的理想选择。 前提条件 已购买并部署分布式消息服务Kafka 操作步骤 创建Topic （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“Topic管理”后、点击“创建Topic”。 （5）点击“创建Topic”后，输入Topic名称、分区数等参数。 （6）创建好Topic后，可以点击“更多”按钮中的“生产消息”来测试其是否正常。

功能说明 Delete Bucket website 请求为删除存储桶中的Website配置（静态网站托管配置或者数据回源配置）。 请求消息样式 plaintext DELETE /{Bucket}?website HTTP/1.1 Host: xxxx.zos.ctyun.cn AcceptEncoding: identity XAmzDate: 20220408T091336Z XAmzContentSHA256: e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 Authorization: string ContentLength: 0 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000000300624ffcc01138default ContentType: application/xml Date: Fri, 08 Apr 2022 09:13:36 GMT Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

功能说明 GetBucketVersioning可以获取某个桶的多版本配置信息。 请求消息样式 plaintext GET /{Bucket}?versioning HTTP/1.1 Host: xxx.zos.ctyun.cn AcceptEncoding: identity xamzdate: 20220407T135856Z xamzcontentsha256: e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 Authorization: string ContentLength: 0 请求消息参数 参数名称 描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000001300624d2ce65403fdefault ContentType: application/xml ContentLength: 192 Date: Wed, 06 Apr 2022 06:02:14 GMT Connection: KeepAlive Enabled Disabled 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 参数名称 参数描述 类型 VersioningConfiguration 参数解释： 桶的多版本配置信息。 Container 表VersioningConfiguration 参数名称 参数描述 类型 Status 参数解释： 桶的版本控制状态信息。假如从没设置过多版本，则没有该字段信息。 取值范围： Enabled：开启 Suspended：暂停 String MfaDelete 参数解释： 桶的多版本删除保护状态信息，展示是否启用MFA 删除。 String

设备偶尔出现“connection reset by peer”错误。 当两个客户端具有相同的客户端ID（Client ID）时，MQTT Broker会根据规范的要求进行互踢（Kickoff），即断开其中一个客户端的连接。这是因为MQTT协议要求每个客户端ID必须是唯一的，用于标识不同的客户端。 当发生客户端ID重复的情况时，MQTT Broker会选择保持最新连接的客户端，而断开旧连接的客户端。这是为了确保每个客户端ID都对应唯一的客户端连接，并避免潜在的冲突和数据混乱。 当旧连接的客户端被断开后，它可能仍然尝试发送数据到已经断开的TCP连接。这会导致对端Socket发送RST（Reset）报文，通知客户端连接已经被重置或关闭。这是正常的网络行为，用于清除已经断开的连接的残留数据。 资源报表的最大查询范围是多少？ 分布式消息服务MQTT支持查询7天以内的指标数据。 为什么设备都断电了，控制台还显示设备在线？ 分布式消息服务MQTT会定时检查客户端心跳，当系统检测到客户端超过指定时长（1.5keepalive时长）没有心跳，则会断开连接。 如何在控制台修改订阅关系？ 订阅关系在订阅消息的SDK代码中设置，控制台只能查询。 本地测试先发送消息，再订阅接收不到消息，设置离线消息后还是接收不到。 若先启动生产者发送消息，如果Topic从未有过订阅，则即使设置了离线消息（QoS1且cleanSessionfalse），消费者启动后也不会收到离线消息；如果Topic被消费者订阅过，消费者离线后，若设置了离线消息，这些离线消息会在消费者再次上线后被消费到。

介绍分布式消息服务Kafka按位点查询的功能操作内容。 场景描述 Kafka按位点查询是指通过指定偏移量或时间戳来查询Kafka主题中的消息。以下是一些常见的按位点查询的场景描述： 数据回溯：当需要回溯到过去的某个时间点或特定的消息偏移量时，可以使用按位点查询功能。这在故障排查、数据分析和报告生成等场景中非常有用，可以准确地获取特定时间点或消息的数据。 数据恢复：在某些情况下，如果由于意外情况导致数据丢失或损坏，可以使用按位点查询来恢复丢失的数据。通过指定偏移量或时间戳，可以定位到丢失数据之前的位置，然后将数据重新消费或导出。 数据验证：按位点查询还可以用于数据验证和一致性检查。通过指定特定的偏移量或时间戳，可以比较不同主题或分区之间的消息，以确保数据的一致性和正确性。 数据分析：按位点查询对于数据分析和统计也非常有用。通过指定特定的时间戳或偏移量范围，可以获取所需的数据子集，并对其进行进一步的分析和处理。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消息查询”后默认就是按位点查询。 （5）下拉选择topic可以切换要查询的topic，填写offset消息位置，partition分区编号，可查询该分区offset位置开始的10条消息。 （6）点击消息列表的“消息详情”可查看消息详情信息

介绍APM监控详情里消息监控中的RabbitMqProducer相关指标的名称、含义等信息。 RabbitMqProducer监控指标说明表 指标类别 指标 指标说明 数据类型 异常 exceptionstacktrace 异常产生的堆栈信息 String 异常 exceptioncount 错误数 Int Exchange监控 messagedestination Exchange名 Enum Exchange监控 messageerrorcount 推送消息的错误次数 Int Exchange监控 messagecount 推送消息数 Int Exchange监控 messagetotalpayload 推送字节数 Int Exchange监控 Max(messagetotalpayload) 单次推送最大字节数 Int Exchange监控 messagemaxcost 推送消息的最大响应时间 Int Exchange监控 sum(messagecost) 推送消息的总响应时间 Int Total监控 messagetotalpayload 推送字节数 Int Total监控 messagecount 推送消息数 Int Total监控 messageerrorcount 推送消息的错误次数 Int Total监控 messagemaxcost 推送消息的最大响应时间 Int Total监控 sum(messagecost) 推送消息的总响应时间 Int Total监控 ms0To10Count 010ms次数 Int Total监控 ms10To100Count 10100ms次数 Int Total监控 ms100To500Count 100500ms次数 Int Total监控 ms500To1000Count 5001000ms次数 Int Total监控 ms1000To10000Count 110s次数 Int Total监控 msMorethan10000Count 10s以上次数 Int

方案一：先迁生产，再迁消费 指先将生产消息的业务迁移到新的Kafka，原Kafka不会有新的消息生产。待原有Kafka实例的消息全部消费完成后，再将消费消息业务迁移到新的Kafka，开始消费新Kafka实例的消息。 1、将生产客户端的Kafka连接地址修改为新Kafka实例的连接地址。 2、重启生产业务，使得生产者将新的消息发送到新Kafka实例中。 3、观察各消费组在原Kafka的消费进度，直到原Kafka中数据都已经被消费完毕。 4、将消费客户端的Kafka连接地址修改为新Kafka实例的连接地址。 5、重启消费业务，使得消费者从新Kafka实例中消费消息。 6、观察消费者是否能正常从新Kafka实例中获取数据。 7、迁移结束。 本方案为业界通用的迁移方案，操作步骤简单，迁移过程由业务侧自主控制，整个过程中消息不会存在乱序问题， 适用于对消息顺序有要求的场景 。但是该方案中需要等待消费者业务直至消费完毕，存在一个时间差的问题，部分数据可能存在较大的端到端时延。 方案二：同时消费，后迁生产 指消费者业务启用多个消费客户端，分别向原Kafka和新Kafka实例消费消息，然后将生产业务切到新Kafka实例，这样能确保所有消息都被及时消费。 1、启动新的消费客户端，配置Kafka连接地址为新Kafka实例的连接地址，消费新Kafka实例中的数据。 说明 原有消费客户端需继续运行，消费业务同时消费原Kafka与新Kafka实例的消息。 2、修改生产客户端，Kafka连接地址改为新Kafka实例的连接地址。 3、重启生产客户端，将生产业务迁移到新Kafka实例中。 4、生产业务迁移后，观察连接新Kafka实例的消费业务是否正常。 5、等待原Kafka中数据消费完毕，关闭原有消费业务客户端。 6、迁移结束。 迁移过程由业务自主控制。本方案中消费业务会在一段时间内同时消费原Kafka和新Kafka实例。由于在迁移生产业务之前，已经有消费业务运行在新Kafka实例上，因此不会存在端到端时延的问题。但在迁移生产的开始阶段，同时消费原Kafka与新Kafka实例，会导致部分消息之间的生产顺序无法保证，存在消息乱序的问题。此场景 适用于对端到端时延有要求，却对消息顺序不敏感的业务 。 FAQ：如何将持久化数据也一起迁移 如果需要将原Kafka的已消费数据也迁移到Kafka专享实例，可以使用开源工具MirrorMaker，模拟成原Kafka的消费客户端，以及新Kafka实例的生产客户端，将Kafka所有消息数据迁移到新的Kafka实例。 需要注意的是，天翼云Kafka实例为3副本存储，因此建议实例存储空间为原业务的单副本消息存储的3倍。

功能说明 ListBuckets请求列出指定账号下的Bucket信息。 请求消息样式 xml GET / HTTP/1.1 Host: xxx.zos.ctyun.cn xamzcontentsha256: e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 xamzdate: 20220406T134209Z Authorization: authorization string 请求消息参数 该请求消息中不带请求参数。 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code TransferEncoding: chunked xamzrequestid: tx00000000000000000002e00624e43581217bdefault ContentType: application/xml Date: Thu, 07 Apr 2022 01:50:16 GMT Connection: KeepAlive String String String Date 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 参数名称 参数描述 类型 ListAllMyBucketsResult 参数解释： 返回结果总的容器。 Container 表ListAllMyBucketsResult 参数名称 参数描述 类型 Owner 参数解释： Bucket 所有者信息的容器。 Container Buckets 参数解释： Bucket 列表的容器。 Container 表Owner 参数名称 参数描述 类型 ID 参数解释： Bucket 所有者的 ID。 String DisplayName 参数解释： Bucket 所有者的名称。 String 表Buckets 参数名称 参数描述 类型 Bucket 参数解释： Bucket 信息的容器。 Container 表Bucket 参数名称 参数描述 类型 Name 参数解释： Bucket 名称。 String CreationDate 参数解释： Bucket 创建的 UTC 时间。 Date

操作步骤 1.登录天翼云官网，进入管理中心。 2.进入消息中心 3.进入消息订阅，新增消息接收人。 4.进入消息订阅的消息管理，将新增的消息接收人配置到安全消息一行中。

请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: string ContentLength: 0 Date: Fri, 01 Apr 2022 08:43:40 GMT Connection: KeepAlive xamzrequestid: tx00000000000000000002100624d98b11217bdefault 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

参数 说明 Rulename 限流规则名称。 Running 匹配到该限流规则，且正常执行的SQL语句数量。 Waiting 匹配到该限流规则，且正在等待队列里的SQL语句数量。 Killed 匹配到该限流规则，且被Kill的SQL语句数量。 Totalmatch 匹配到该限流规则的总次数。 Maxconcurrencypernode 每个计算节点的并发度。 Waitqueuesizepernode 每个计算节点上等待队列的最大长度。 Waittimeout SQL语句在等待队列的最大等待时间。 Maxmergerows SELECT语句从DN返回的最大行数。 Sqltype SQL语句类型，可能值： SELECT DELETE UPDATE INSERT User 用户名。 Keywords 关键词列表。 Templateid SQL模板的哈希值。 Createdtime 限流规则的创建时间。 Templatesql SQL模板。

功能说明 GetBucketTagging接口用于获取指定Bucket的标签。该操作需要s3:GetBucketTagging权限，桶的拥有者默认具有该权限。 注意事项 通过API设置桶标签和通过控制台设置桶标签是完全不同的两套标签功能，二者不互通，故通过API获取桶标签只能获取通过API或SDK设置的桶标签，无法获取通过控制台设置的桶标签。 请求消息样式 plaintext GET /{Bucket}?tagging HTTP/1.1 Host: xxxx.zos.ctyun.cn xamzcontentsha256: e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 xamzdate: 20220408T030447Z Authorization: string 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000000400624fa64f2a818nanjing3 ContentType: application/xml ContentLength: 169 Date: Fri, 08 Apr 2022 03:04:47 GMT Connection: KeepAlive string string 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。