本页介绍天翼云TeleDB数据库消息订阅。 消息订阅可以对不同类型的消息进行订阅，选择需要的消息类型，保存后，订阅类型的消息会在触发时进行推送。

名词解释 环境 目前天翼云Prometheus服务支持容器环境与云服务环境。 容器环境：每个云容器集群对应一个独立的容器环境。针对容器环境，Prometheus提供了自动化的监控采集链路，完成探针安装、数据采集、数据加工等工作。 云服务环境：对于常规云服务产品的数据采集，将按照资源池进行划分，为每个资源池创建各自的云服务环境。 组件 接入管理的每一个选项卡片即为一个组件，目前支持容器集群、分布式缓存服务Redis版、分布式消息服务Kafka与分布式容器云平台CCE ONE组件接入。 操作步骤 1. 登录Prometheus监控服务控制台。 2. 在左侧导航栏，单击接入中心。 3. 在接入中心页面，单击目标组件卡片接入数据。 4. 在弹出的面板中，在开始接入页签下，选择所属的环境类型。 5. 根据控制台提示配置相应参数，如选择对应的容器集群。 6. 点击确定，等待环境初始化、组件安装以及数据检查完成。 如果一切正常，接入完成后您可以进入接入管理的环境详情页面查询接入的大盘或告警规则，也可以探索产生的指标。 如果遇到异常，可根据异常提示进行相应的操作。

功能说明 DeleteBucketLifecycle接口用于删除存储桶设置的生命周期规则。 请求消息样式 plaintext DELETE /{Bucket}?lifecycle HTTP/1.1 Host: xxx.zos.ctyun.cn Date: Date ContentLength: ContentLength xamzcontentsha256: ContentSHA256 Authorization: string 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 指定存储桶名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000002e00624e43581217bdefault ContentType: application/xml Date: Thu, 07 Apr 2022 01:50:16 GMT Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

本文介绍科研助手的应用类常见问题。 科研助手适用哪些场景？ HPC：适用于视频渲染、视频转码（视频格式转换、视频分辨率变化、添加水印/logo的）、科研教育等领域。 科学计算：适用于仿真模拟、化学分子计算、流体计算等。 生物分析：适用于基因测序、药物检测等领域。 科研助手的核心功能有哪些？ 多资源池管理： 底层资源池ECK专有资源、Serverless共享容器资源池、ECX虚拟机资源池满足不同价格区间的业务需求。 队列管理： 提供对作业队列管理，支持CPU/GPU作业和队列管理。 开发环境： 以云原生的资源使用和开发工具链的集成，为不同类型开发、探索、教学用户，提供更好云化开发体验。

介绍分布式消息服务Kafka按位点查询的功能操作内容。 场景描述 Kafka按位点查询是指通过指定偏移量或时间戳来查询Kafka主题中的消息。以下是一些常见的按位点查询的场景描述： 数据回溯：当需要回溯到过去的某个时间点或特定的消息偏移量时，可以使用按位点查询功能。这在故障排查、数据分析和报告生成等场景中非常有用，可以准确地获取特定时间点或消息的数据。 数据恢复：在某些情况下，如果由于意外情况导致数据丢失或损坏，可以使用按位点查询来恢复丢失的数据。通过指定偏移量或时间戳，可以定位到丢失数据之前的位置，然后将数据重新消费或导出。 数据验证：按位点查询还可以用于数据验证和一致性检查。通过指定特定的偏移量或时间戳，可以比较不同主题或分区之间的消息，以确保数据的一致性和正确性。 数据分析：按位点查询对于数据分析和统计也非常有用。通过指定特定的时间戳或偏移量范围，可以获取所需的数据子集，并对其进行进一步的分析和处理。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消息查询”后默认就是按位点查询。 （5）下拉选择topic可以切换要查询的topic，填写offset消息位置，partition分区编号，可查询该分区offset位置开始的10条消息。 （6）点击消息列表的“消息详情”可查看消息详情信息

方案一：先迁生产，再迁消费 指先将生产消息的业务迁移到新的Kafka，原Kafka不会有新的消息生产。待原有Kafka实例的消息全部消费完成后，再将消费消息业务迁移到新的Kafka，开始消费新Kafka实例的消息。 1、将生产客户端的Kafka连接地址修改为新Kafka实例的连接地址。 2、重启生产业务，使得生产者将新的消息发送到新Kafka实例中。 3、观察各消费组在原Kafka的消费进度，直到原Kafka中数据都已经被消费完毕。 4、将消费客户端的Kafka连接地址修改为新Kafka实例的连接地址。 5、重启消费业务，使得消费者从新Kafka实例中消费消息。 6、观察消费者是否能正常从新Kafka实例中获取数据。 7、迁移结束。 本方案为业界通用的迁移方案，操作步骤简单，迁移过程由业务侧自主控制，整个过程中消息不会存在乱序问题， 适用于对消息顺序有要求的场景 。但是该方案中需要等待消费者业务直至消费完毕，存在一个时间差的问题，部分数据可能存在较大的端到端时延。 方案二：同时消费，后迁生产 指消费者业务启用多个消费客户端，分别向原Kafka和新Kafka实例消费消息，然后将生产业务切到新Kafka实例，这样能确保所有消息都被及时消费。 1、启动新的消费客户端，配置Kafka连接地址为新Kafka实例的连接地址，消费新Kafka实例中的数据。 说明 原有消费客户端需继续运行，消费业务同时消费原Kafka与新Kafka实例的消息。 2、修改生产客户端，Kafka连接地址改为新Kafka实例的连接地址。 3、重启生产客户端，将生产业务迁移到新Kafka实例中。 4、生产业务迁移后，观察连接新Kafka实例的消费业务是否正常。 5、等待原Kafka中数据消费完毕，关闭原有消费业务客户端。 6、迁移结束。 迁移过程由业务自主控制。本方案中消费业务会在一段时间内同时消费原Kafka和新Kafka实例。由于在迁移生产业务之前，已经有消费业务运行在新Kafka实例上，因此不会存在端到端时延的问题。但在迁移生产的开始阶段，同时消费原Kafka与新Kafka实例，会导致部分消息之间的生产顺序无法保证，存在消息乱序的问题。此场景 适用于对端到端时延有要求，却对消息顺序不敏感的业务 。 FAQ：如何将持久化数据也一起迁移 如果需要将原Kafka的已消费数据也迁移到Kafka专享实例，可以使用开源工具MirrorMaker，模拟成原Kafka的消费客户端，以及新Kafka实例的生产客户端，将Kafka所有消息数据迁移到新的Kafka实例。 需要注意的是，天翼云Kafka实例为3副本存储，因此建议实例存储空间为原业务的单副本消息存储的3倍。

配置资源 配置队列及任务优先级，如果还未创建队列，请参考“创建队列”相关的文档，创建完成之后点击 “创建队列” 旁边的刷新按钮再进行队列选择。 按需配置CPU、内存、GPU、NPU资源。 其他配置 root用户启动：如果关闭了 “工作空间目录配置” 选项可以选择将root用户启动关闭，将使用非root用户启动容器。 模型分析：打开模型分析时，会在创建开发机时自动创建TensorBoard服务，模型分析配置会自动关联前面数据集配置中已选择的私有数据集（仅支持配置私有数据集，公共数据集具有只读权限无法进行文件写入），可以选择不打开模型分析，后续再单独创建。 环境变量按需进行配置。 点击创建。 远程访问 查看开发机列表 等待新建开发机的“访问”按钮可点击后，访问提示信息中的链接，先选择资源池信息，然后配置“弹性负载均衡>访问策略组”，修改isuitenotebookacl策略组的配置（默认只放开了127.0.0.1地址），需要增加本地客户端的出口IP配置。 获取本机出口IP的方式可通过百度搜索“ip地址”进行查询。 配置完成后回到“智算套件>AI应用开发”控制台，点击对应开发机的 “访问” 按钮即可访问该开发机，工作空间会显示持久化存储中保存的文件等。

开发机资源配置 配置队列及任务优先级，如果还未创建队列，请参考“创建队列”相关的文档，创建完成之后点击 “创建队列” 旁边的刷新按钮再进行队列选择。 按需配置CPU、内存、GPU、NPU资源。 其他配置 root用户启动：如果关闭了 “工作空间目录配置” 选项可以选择将root用户启动关闭，将使用非root用户启动容器。 模型分析：打开模型分析时，会在创建开发机时自动创建TensorBoard服务，模型分析配置会自动关联前面数据集配置中已选择的私有数据集（仅支持配置私有数据集，公共数据集具有只读权限无法进行文件写入），可以选择不打开模型分析，后续再单独创建。 环境变量按需进行配置。 点击创建。 开发机远程访问 查看开发机列表 等待新建开发机的“访问”按钮可点击后，访问提示信息中的链接，先选择资源池信息，然后配置“弹性负载均衡>访问策略组”，修改isuitenotebookacl策略组的配置（默认只放开了127.0.0.1地址），需要增加本地客户端的出口IP配置。 获取本机出口IP的方式可通过百度搜索“ip地址”进行查询。 配置完成后回到“智算套件>AI应用开发”控制台，点击对应开发机的 “访问” 按钮即可访问该开发机，工作空间会显示持久化存储中保存的文件等。

介绍APM监控详情里消息监控中的RabbitMqProducer相关指标的名称、含义等信息。 RabbitMqProducer监控指标说明表 指标类别 指标 指标说明 数据类型 异常 exceptionstacktrace 异常产生的堆栈信息 String 异常 exceptioncount 错误数 Int Exchange监控 messagedestination Exchange名 Enum Exchange监控 messageerrorcount 推送消息的错误次数 Int Exchange监控 messagecount 推送消息数 Int Exchange监控 messagetotalpayload 推送字节数 Int Exchange监控 Max(messagetotalpayload) 单次推送最大字节数 Int Exchange监控 messagemaxcost 推送消息的最大响应时间 Int Exchange监控 sum(messagecost) 推送消息的总响应时间 Int Total监控 messagetotalpayload 推送字节数 Int Total监控 messagecount 推送消息数 Int Total监控 messageerrorcount 推送消息的错误次数 Int Total监控 messagemaxcost 推送消息的最大响应时间 Int Total监控 sum(messagecost) 推送消息的总响应时间 Int Total监控 ms0To10Count 010ms次数 Int Total监控 ms10To100Count 10100ms次数 Int Total监控 ms100To500Count 100500ms次数 Int Total监控 ms500To1000Count 5001000ms次数 Int Total监控 ms1000To10000Count 110s次数 Int Total监控 msMorethan10000Count 10s以上次数 Int

功能说明 DeleteBucketInventory删除目标桶的某项桶清单配置。 请求消息样式 plaintext DELETE /{Bucket}?inventory&idxxx HTTP/1.1 Host: xxx.zos.ctyun.cn xamzdate: Date xamzcontentsha256: ContentSHA256 Authorization: Auth String ContentLength: ContentLength 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 id 参数解释： 用来标识清单规则的id。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: Request Id ContentType: ContentType ContentLength: ContentLength Date: Date Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

功能说明 Delete Object请求删除指定的对象。 请求消息样式 plaintext DELETE /{Bucket}/{Key}?versionIdVersionId HTTP/1.1 Host: xxx.zos.ctyun.cn XAmzContentSha256: ContentSHA256 XAmzDate: Date Authorization: Auth String Connection: keepalive 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： Bucket的名称。 String 是 Key 参数解释： 删除对象的Key。 String 是 versionId 参数解释： 删除对象的版本号。 String 否 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: Request Id Date: Date Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

本章节介绍网关扩容功能 概述 节点扩容可以满足业务规模增长的需求；云原生网关目前支持高可用版的节点扩容，基础版不支持扩容能力；扩容的大概过程如图所示，集群扩容后，将更新ELB与网关实例的绑定关系，在此过程中，通过ELB作负载均衡来实现无损节点扩容。 操作步骤 1. 进入微服务引擎MSE控制台； 2. 在顶部菜单栏选择资源池； 3. 单击左侧导航栏云原生网关 > 网关列表 ； 4. 选择需要扩容 的实例 ，点击扩容，跳转扩容订单页； 实例信息部分展示变更前实例原有的基本信息 实例扩容部分为变更后的总节点数 5. 在实例扩容栏目， 选择新节点数 ，提交订单，完成付款； 新节点表示实例扩容完成后集群具有的总节点数 6. 返回微服务引擎MSE控制台，单击左侧导航栏云原生网关 > 网关列表 ； 7. 查看实例当前状态（扩容中） ，此时实例不可进行路由等资源的配置，但不影响已有路由转发； 8. 扩容完成后， 实例状态恢复为正常 ，实例可以正常访问； 9. 查看实例基本信息，实例节点数、连接信息都已经更新完成；

功能说明 GetBucketVersioning可以获取某个桶的多版本配置信息。 请求消息样式 plaintext GET /{Bucket}?versioning HTTP/1.1 Host: xxx.zos.ctyun.cn AcceptEncoding: identity xamzdate: 20220407T135856Z xamzcontentsha256: e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 Authorization: string ContentLength: 0 请求消息参数 参数名称 描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000001300624d2ce65403fdefault ContentType: application/xml ContentLength: 192 Date: Wed, 06 Apr 2022 06:02:14 GMT Connection: KeepAlive Enabled Disabled 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 参数名称 参数描述 类型 VersioningConfiguration 参数解释： 桶的多版本配置信息。 Container 表VersioningConfiguration 参数名称 参数描述 类型 Status 参数解释： 桶的版本控制状态信息。假如从没设置过多版本，则没有该字段信息。 取值范围： Enabled：开启 Suspended：暂停 String MfaDelete 参数解释： 桶的多版本删除保护状态信息，展示是否启用MFA 删除。 String

本节主要介绍分布式消息服务Kafka的创建Topic说明 背景信息 Kafka的主题（Topic）是对消息进行分类和组织的概念。主题是Kafka中最基本的逻辑单元，用于区分不同类型的消息。 每个主题可以有多个分区（Partition），每个分区都是一个有序的消息日志。分区允许消息在集群中进行并行处理，提高了吞吐量和并发性能。 主题的特点包括： 逻辑分类：主题可以根据业务需求或数据类型进行逻辑分类，例如订单主题、日志主题、用户行为主题等。 多分区：主题可以被分成多个分区，每个分区都有自己的消息顺序。分区可以在不同的节点上进行存储和处理，实现了水平扩展和负载均衡。 副本复制：每个分区可以有多个副本（Replica），副本用于提供高可用性和容错性。副本可以分布在不同的节点上，当节点故障时可以自动进行故障转移。 持久化存储：主题中的消息被持久化存储在磁盘上，确保消息的可靠性和持久性。消费者可以随时消费主题中的历史消息，而不仅仅是最新的消息。 通过使用主题，Kafka能够有效地组织和管理大规模的消息流。主题的分区和副本机制提供了高可用性和容错性，使得Kafka成为处理大规模实时数据流的理想选择。 前提条件 已购买并部署分布式消息服务Kafka 操作步骤 创建Topic （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“Topic管理”后、点击“创建Topic”。 （5）点击“创建Topic”后，输入Topic名称、分区数等参数。 （6）创建好Topic后，可以点击“更多”按钮中的“生产消息”来测试其是否正常。

参数 说明 Rulename 限流规则名称。 Running 匹配到该限流规则，且正常执行的SQL语句数量。 Waiting 匹配到该限流规则，且正在等待队列里的SQL语句数量。 Killed 匹配到该限流规则，且被Kill的SQL语句数量。 Totalmatch 匹配到该限流规则的总次数。 Maxconcurrencypernode 每个计算节点的并发度。 Waitqueuesizepernode 每个计算节点上等待队列的最大长度。 Waittimeout SQL语句在等待队列的最大等待时间。 Maxmergerows SELECT语句从DN返回的最大行数。 Sqltype SQL语句类型，可能值： SELECT DELETE UPDATE INSERT User 用户名。 Keywords 关键词列表。 Templateid SQL模板的哈希值。 Createdtime 限流规则的创建时间。 Templatesql SQL模板。

功能说明 Delete Bucket website 请求为删除存储桶中的Website配置（静态网站托管配置或者数据回源配置）。 请求消息样式 plaintext DELETE /{Bucket}?website HTTP/1.1 Host: xxxx.zos.ctyun.cn AcceptEncoding: identity XAmzDate: 20220408T091336Z XAmzContentSHA256: e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 Authorization: string ContentLength: 0 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000000300624ffcc01138default ContentType: application/xml Date: Fri, 08 Apr 2022 09:13:36 GMT Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

功能说明 ListBuckets请求列出指定账号下的Bucket信息。 请求消息样式 xml GET / HTTP/1.1 Host: xxx.zos.ctyun.cn xamzcontentsha256: e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 xamzdate: 20220406T134209Z Authorization: authorization string 请求消息参数 该请求消息中不带请求参数。 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code TransferEncoding: chunked xamzrequestid: tx00000000000000000002e00624e43581217bdefault ContentType: application/xml Date: Thu, 07 Apr 2022 01:50:16 GMT Connection: KeepAlive String String String Date 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 参数名称 参数描述 类型 ListAllMyBucketsResult 参数解释： 返回结果总的容器。 Container 表ListAllMyBucketsResult 参数名称 参数描述 类型 Owner 参数解释： Bucket 所有者信息的容器。 Container Buckets 参数解释： Bucket 列表的容器。 Container 表Owner 参数名称 参数描述 类型 ID 参数解释： Bucket 所有者的 ID。 String DisplayName 参数解释： Bucket 所有者的名称。 String 表Buckets 参数名称 参数描述 类型 Bucket 参数解释： Bucket 信息的容器。 Container 表Bucket 参数名称 参数描述 类型 Name 参数解释： Bucket 名称。 String CreationDate 参数解释： Bucket 创建的 UTC 时间。 Date

操作步骤 1.登录天翼云官网，进入管理中心。 2.进入消息中心 3.进入消息订阅，新增消息接收人。 4.进入消息订阅的消息管理，将新增的消息接收人配置到安全消息一行中。

本节介绍了 使用cubevolcano的用户指南。 插件简介 Volcano调度器是一个基于Kubernetes的批处理平台，提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要而Kubernetes当前缺失的一系列特性。 Volcano提供了高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力，通过接入AI、大数据、基因、渲染等诸多行业计算框架服务终端用户。(目前Volcano项目已经在Github开源) Volcano针对计算型应用提供了作业调度、作业管理、队列管理等多项功能，主要特性包括： 丰富的计算框架支持：通过CRD提供了批量计算任务的通用API，通过提供丰富的插件及作业生命周期高级管理，支持TensorFlow，MPI，Spark等计算框架容器化运行在Kubernetes上。 高级调度：面向批量计算、高性能计算场景提供丰富的高级调度能力，包括成组调度，优先级抢占、装箱、资源预留、任务拓扑关系等。 队列管理：支持分队列调度，提供队列优先级、多级队列等复杂任务调度能力。 项目开源地址： 前置条件 安装cubevolcano插件 使用示例 修改调度器配置 查看调度配置，默认开启binpack插件 修改volcano调度器配置，增加binpack得分权重，减少其他调度插件的影响 调整日志级别，查看更详细的日志 创建验证负载任务并且指定使用volcano调度器 可查看负载的YAML，确认scheduleName已设置为volcano 从控制台查看调度器日志，得知各节点的得分 从日志中知道得分最高的节点，查看pod绑定节点，预期绑定的是最高得分的节点

实施步骤 （1）购买一台弹性云主机，确保弹性云主机与源集群、目标集群网络互通。 （2）登录弹性云主机，安装Java JDK，并配置JAVAHOME与PATH环境变量。其中“/usr/local/java/jdk1.8.0161”为JDK的安装路径，请根据实际情况修改。 exportJAVAHOME/usr/local/java/jdk1.8.0161 exportPATH$JAVAHOME/bin:$PATH （3）下载安装kafka 下载页面： （4）进入kafka安装目录，修改“config/connectmirrormaker.properties”配置文件，在配置文件中指定源集群和目标集群的IP地址和端口以及其他配置。 （5）在kafka安装目录下，启动MirrorMaker，进行数据同步。 ./bin/connectmirrormaker.sh config/connectmirrormaker.properties 验证数据是否同步 要验证MirrorMaker是否成功同步数据，可以采取以下几种方法： 1. 检查目标集群的主题和分区： 在目标集群上使用Kafka命令行工具或管理工具，查看MirrorMaker复制的主题和分区是否存在。确保目标集群上有与源集群相同的主题和分区。 2. 检查消息偏移量： 使用Kafka消费者API或命令行工具，从目标集群中消费复制的消息。验证消息的偏移量是否与源集群中的消息偏移量一致。如果偏移量相同，表示数据同步成功。 3. 检查消息内容： 从目标集群中消费复制的消息，并与源集群中的消息进行比较。验证消息内容是否一致。可以使用Kafka消费者API或命令行工具来消费消息，并进行比较。 4. 监控MirrorMaker的指标： 在MirrorMaker节点上启用监控，收集关于复制进度、延迟和吞吐量等指标的数据。通过监控指标，可以了解MirrorMaker的工作状态和性能表现，进一步验证数据同步的情况。 5. 进行端到端测试： 在源集群中发送一些测试消息，并在目标集群中验证这些消息是否被成功复制。可以使用Kafka生产者API或命令行工具发送测试消息，并使用Kafka消费者API或命令行工具从目标集群中消费并验证消息。 通过以上方法，可以验证MirrorMaker是否成功同步数据，并确保数据在源集群和目标集群之间的一致性。根据实际需求，可以选择适合的验证方法或组合多种方法来进行验证。

本文主要介绍监控告警问题。 云监控无法展示Kafka监控数据 Topic监控数据无法展示，可能原因如下： Topic名称开头包含特殊字符，例如下划线“”、号“”。 Kafka实例中没有创建Topic。 解决方法如下： 删除带特殊字符的Topic。 创建Topic。 消费组监控数据无法展示，可能原因如下： 消费组名称开头包含特殊字符，例如下划线“”、号“”。 此消费组从未有消费者连接。 Kafka监控显示消息堆积数跟实例里的消息数不一致？ 问题现象 ：监控显示消息堆积数为8.1亿+，Kafka控制台显示实例中6个Topic的消息数总和为1亿+，两者不一致。 问题结论 ：两者统计方式不同，Kafka控制台显示的消息数为实例中未消费的消息个数，而监控显示的消息堆积数Topic中的消息积压数消费组数。 Kafka的消费组删除了，怎么监控页面还可以看到这个消费组？ 监控数据是每分钟进行采集上报，上报的数据经过整理后才会显示在监控页面上，此过程大约需要几分钟到十几分钟，建议您在删除消费组后，过一段时间再去监控页面查看。

功能说明 GetBucketTagging接口用于获取指定Bucket的标签。该操作需要s3:GetBucketTagging权限，桶的拥有者默认具有该权限。 注意事项 通过API设置桶标签和通过控制台设置桶标签是完全不同的两套标签功能，二者不互通，故通过API获取桶标签只能获取通过API或SDK设置的桶标签，无法获取通过控制台设置的桶标签。 请求消息样式 plaintext GET /{Bucket}?tagging HTTP/1.1 Host: xxxx.zos.ctyun.cn xamzcontentsha256: e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 xamzdate: 20220408T030447Z Authorization: string 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000000400624fa64f2a818nanjing3 ContentType: application/xml ContentLength: 169 Date: Fri, 08 Apr 2022 03:04:47 GMT Connection: KeepAlive string string 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。

功能说明 DeleteObjectTagging从指定的对象中删除整个标记集。 注意事项 要使用此操作，您必须具有执行s3:DeleteObjectTagging操作的权限。要删除特定对象版本的标签，请在请求中添加versionId查询参数。您将需要s3:DeleteObjectVersionTagging操作的权限。 请求消息样式 plaintext DELETE /{Bucket}/{Key}?tagging&versionId{VersionId} HTTP/1.1 Host: xxx.zos.ctyun.cn AcceptEncoding: identity Date: Tue, 12 Apr 2022 11:03:15 GMT ContentLength: 0 Authorization: string 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： Bucket的名称。 String 是 Key 参数解释： Object的名称。 String 是 VersionId 参数解释： 多版本场景下，指定对象的特定版本。不指定时，默认为最新版本的Id，如存在null版本号，并需对其操作，则需指定VersionId'null'。VersionId''等效于指定最新版本的Id。 String 否 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000001c0062555c7434455default Date: Tue, 12 Apr 2022 11:03:16 GMT Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。

请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: string ContentLength: 0 Date: Fri, 01 Apr 2022 08:43:40 GMT Connection: KeepAlive xamzrequestid: tx00000000000000000002100624d98b11217bdefault 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

功能说明 获取桶的访问控制列表。 注意事项 该操作需要READACP权限。需要注意的是，如果设置桶的ACL时以邮箱类型设置，返回结果中将会以对应被授权用户的ID形式出现，即Type不会是AmazonCustomerByEmail，而是CanonicalUser，这种情况会将邮箱信息一并返回。 请求消息样式 plaintext GET /{Bucket}?acl HTTP/1.1 Host: xxx.zos.ctyun.cn xamzdate: Date xamzcontentsha256: ContentSHA256 Authorization: Auth String 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: Request Id ContentType: ContentType ContentLength: ContentLength Date: Date Connection: KeepAlive string string string string string string string 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。

功能说明 GetObjectLegalHold请求获取指定对象的当前依法保留状态。 请求消息样式 plaintext GET /{Bucket}/{Key}?legalhold&versionIdVersionId HTTP/1.1 Host: xxx.zos.ctyun.cn AcceptEncoding: identity xamzcontentsha256: ContentSHA256 xamzdate: 20220412T100505Z Authorization: string 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： Bucket的名称。 String 是 Key 参数解释： 对象名称。 String 是 versionId 参数解释： 对象的版本ID。 String 否 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000000d00624e4bc55e72default ContentType: application/xml ContentLength: 80 Date: Thu, 07 Apr 2022 02:26:29 GMT Connection: KeepAlive string 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 参数名称 参数描述 类型 LegalHold 参数解释： 指定对象依法保留配置。 Container 表LegalHold 参数名称 参数描述 类型 Status 参数解释： 是否打开对象依法保留。 取值范围： ON：打开 OFF：关闭 String

功能说明 Get object retention获取对象的保留期限设置。 请求消息样式 plaintext GET /{Bucket}/{Key}?retention&versionIdVersionId HTTP/1.1 Host: xxx.zos.ctyun.cn AcceptEncoding: identity XAmzContentSHA256: ContentSHA256 XAmzDate: 20220412T100505Z Authorization: string 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： Bucket的名称。 String 是 Key 参数解释： 对象名称。 String 是 versionId 参数解释： 对象的版本ID。 String 否 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000008100624e501c1217bdefault Date: Thu, 07 Apr 2022 02:44:44 GMT Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息参数 参数名称 参数描述 类型 Retention 参数解释： 对象保留期限配置。 Container 表Retention 参数名称 参数描述 类型 Mode 参数解释： 对象保留期限模式。 取值范围： GOVERNANCE：监管模式 COMPLIANCE：合规性模式 String RetainUntilDate 参数解释： 对象保留期限过期日期。 Date

功能说明 Get object legal hold请求获取指定对象的当前依法保留状态。 请求消息样式 plaintext GET /{Bucket}/{Key}?legalhold&versionIdVersionId HTTP/1.1 Host: xxx.zos.ctyun.cn AcceptEncoding: identity XAmzContentSHA256: ContentSHA256 XAmzDate: 20220412T100505Z Authorization: string 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： Bucket的名称。 String 是 Key 参数解释： 对象名称。 String 是 versionId 参数解释： 对象的版本ID。 String 否 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000000d00624e4bc55e72default ContentType: application/xml ContentLength: 80 Date: Thu, 07 Apr 2022 02:26:29 GMT Connection: KeepAlive string 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 参数名称 参数描述 类型 LegalHold 参数解释： 指定对象依法保留配置。 Container 表LegalHold 参数名称 参数描述 类型 Status 参数解释： 是否打开对象依法保留。 取值范围： ON：打开 OFF：关闭 String

本章节主要介绍翼MapReduce的管理全局用户策略操作。 操作场景 如果租户配置使用Superior调度器，那么系统可以控制具体用户使用资源调度器的行为，包含： 最大运行任务数 最大挂起任务数 默认队列 操作步骤 添加策略 1. 在FusionInsight Manager，单击“租户资源”。 2. 单击“动态资源计划”页签。 3. 单击“全局用户策略”页签。 说明 defaults(default setting)表示如果一个用户未配置全局用户策略，则默认使用defaults所指定的策略。该策略不可删除。 4. 单击“添加全局用户策略”，在弹出窗口中填写以下参数。 集群：选择需要操作的集群。 用户名：表示需要控制资源调度的用户，请输入当前集群中已存在用户的名称。 最大运行任务数：表示该用户在当前集群中能运行的最大任务数量。 最大挂起任务数：表示该用户在当前集群中能挂起的最大任务数量。 默认队列：表示用户的队列，请输入当前集群中已存在队列的名称。 修改策略 1. 在FusionInsight Manager，单击“租户资源”。 2. 单击“动态资源计划”页签。 3. 单击“全局用户策略”页签。 4. 在指定用户策略所在行，单击“操作”列中的“修改”。 5. 调整相关参数后，单击“确定”。 删除策略 1. 在FusionInsight Manager，单击“租户资源”。 2. 单击“动态资源计划”页签。 3. 单击“全局用户策略”页签。 4. 在指定用户策略所在行，单击“操作”列中的“删除”。 在弹出窗口单击“确定”。

MRS的Storm集群提交任务时如何指定日志路径？ 客户可以根据自己的需求，修改MRS的流式Core节点上的/opt/Bigdata/MRSXXX /1XX Supervisor/etc/worker.xml文件，将标签filename的值设定为客户需要的路径，然后在Manager页面重启对应实例。 建议客户尽量不要修改MRS默认的日志配置，可能会造成日志系统异常。 如何检查Yarn的ResourceManager配置是否正常？ 本案例适用于MRS 3.x之前版本。 登录MRS Manager页面，选择“服务管理 > Yarn > 实例”。 1.分别单击两个ResourceManager名称，选择“更多 > 同步配置”，并选择不勾选“重启配置过期的服务或实例。”。 2.单击“是”进行配置同步。 3.以root用户分别登录Master节点。 4.执行 cd /opt/Bigdata/MRSCurrent/ ResourceManager/etcUPDATED/ 命令进入etcUPDATED目录。 5.执行grep '.queues' capacityscheduler.xml A2找到配置的所有队列，并检查队列和Manager页面上看到的队列是否一一对应。 rootdefault在Manager页面隐藏，在页面看不到属于正常现象。 6.执行grep '.capacity' capacityscheduler.xml A2找出各队列配置的值，检查每个队列配置的值是否和Manager上看到的一致。并检查所有队列配置的值的总和是否是100。 是，则说明配置正常。 否，则说明配置异常，请执行后续步骤修复。 7.登录MRS Manager页面，选择“主机管理”。 8.查找主Master节点，主机名称前带实心五角星的Master节点即为主Master节点。 9.以root用户登录主Master节点。 10.执行su omm切换到omm用户。 11.执行sh /opt/Bigdata/om0.0.1/sbin/restartcontroller.sh重启Controller。 请在Manager页面没有其他操作后重启Controller，重启Controller对大数据组件业务无影响。 12.重新执行步骤1~步骤7同步ResourceManager的配置并检查配置是否正常。 配置同步完成后Manager页面可能显示配置过期，该显示不影响业务，是由于组件没有加载最新的配置，待后续组件重启的时会自动加载。

本章节主要介绍使用TPCH样例模板开发并提交Spark SQL作业。 为了便捷快速的执行SQL操作，DLI支持定制模板或将正在使用的SQL语句保存为模板。保存模板后，不需编写SQL语句，可通过模板直接执行SQL操作。 当前系统提供了多条标准的TPCH查询语句模板，可以根据当前需求选择使用。本样例演示通过一个TPCH样例模板开发并提交Spark SQL作业的基本流程： 操作步骤 1.登录DLI管理控制台。 2.在DLI管理控制台，选择“作业模板”>“SQL模板”>“样例模板”，在“tpchQuery”下找到“Q1价格摘要报告查询”样例模板，单击操作列的“执行”进入“SQL编辑器”。 3.在“SQL编辑器”页面右侧的编辑窗口上方，“执行引擎”选择“spark”，“队列”选择“default”，“数据库”选择“default”，单击“执行”。 4.SQL作业编辑窗口下方“查看结果”页签查看查询结果。 本示例使用系统预置的“default”队列和数据库进行演示，也可以在自建的队列和数据库下执行。 创建队列请参考《数据湖探索用户指南》>《创建队列》。创建数据库请参考《数据湖探索用户指南》下的“数据管理 > 库表管理 > 创建数据库和表”。

工作空间 工作空间（Workspace）属于态势感知（专业版）顶层工作台，单个工作空间可绑定普通项目、企业项目和Region，可支撑不同场景下的工作空间运营模式。 数据空间 数据空间是进行数据分组、负载、流控单元。同一数据空间的数据共享同一负载均衡策略。 数据管道 数据传输消息主题和存储索引组合为数据管道。