配置资源 配置队列及任务优先级，如果还未创建队列，请参考“创建队列”相关的文档，创建完成之后点击 “创建队列” 旁边的刷新按钮再进行队列选择。 按需配置CPU、内存、GPU、NPU资源。 其他配置 root用户启动：如果关闭了 “工作空间目录配置” 选项可以选择将root用户启动关闭，将使用非root用户启动容器。 模型分析：打开模型分析时，会在创建开发机时自动创建TensorBoard服务，模型分析配置会自动关联前面数据集配置中已选择的私有数据集（仅支持配置私有数据集，公共数据集具有只读权限无法进行文件写入），可以选择不打开模型分析，后续再单独创建。 环境变量按需进行配置。 点击创建。 远程访问 查看开发机列表。 等待新建开发机的“访问”按钮可点击后，访问提示信息中的链接，先选择资源池信息，然后配置“弹性负载均衡>访问策略组”，修改isuitenotebookacl策略组的配置（默认只放开了127.0.0.1地址），需要增加本地客户端的出口IP配置。 获取本机出口IP的方式可通过百度搜索“ip地址”进行查询。 配置完成后回到“智算套件>AI应用开发”控制台，点击对应开发机的“访问”按钮即可访问该开发机，工作空间会显示持久化存储中保存的文件等。

本节介绍如何创建vLLM GPU多机PD分离任务。 前置条件 1. 确认智算套件已经安装并且全部运行中 2. 进入智算套件，AI应用管理，队列管理，确保队列存在并且有足够的资源(GPU,CPU,内存,rdma/rdmashareddevicea) [参考创建队列的文档] 操作步骤 创建任务 进入智算套件，AI应用列表，在线推理菜单，创建AI应用 基本信息 应用类型：vLLM 开启PD分离选择：静态PD分离 推理类型选择：多机 配置信息 推理框架，框架版本，推理模型，模型版本，Prefill 实例数和副本数，Decode 实例数和副本数，根据实际情况选择。 注意 Prefill 实例数和副本数，Decode 实例数和副本数用默认参数即可。 Prefill 菜单中的 PrefillMaster, PrefillWorker，Decode 菜单中的 DecodeMaster，DecodeWorker 启动参数用默认参数即可。 Prefill 菜单中的 PrefillMaster, PrefillWorker 中的资源都要填 GPU 和自定义资源 rdma/rdmashareddevicea。 Decode 菜单中的 DecodeMaster，DecodeWorker 中的资源都要填 GPU 和自定义资源 rdma/rdmashareddevicea。 简单的示例： 推理框架： nvidiavllm 框架版本：v0.11.2 推理模型：deepseekr1distillqwen1.5b 模型版本：v1 队列：选择存在且资源足够的的队列

本节介绍如何创建vLLM GPU多机PD分离任务。 前置条件 1. 确认智算套件已经安装并且全部运行中 2. 进入智算套件，AI应用管理，队列管理，确保队列存在并且有足够的资源(GPU,CPU,内存,rdma/rdmashareddevicea) [参考创建队列的文档] 操作步骤 创建任务 进入智算套件，AI应用列表，在线推理菜单，创建AI应用 基本信息 应用类型：vLLM 开启PD分离选择：静态PD分离 推理类型选择：多机 配置信息 推理框架，框架版本，推理模型，模型版本，Prefill 实例数和副本数，Decode 实例数和副本数，根据实际情况选择。 注意 Prefill 实例数和副本数，Decode 实例数和副本数用默认参数即可。 Prefill 菜单中的 PrefillMaster, PrefillWorker，Decode 菜单中的 DecodeMaster，DecodeWorker 启动参数用默认参数即可。 Prefill 菜单中的 PrefillMaster, PrefillWorker 中的资源都要填 GPU 和自定义资源 rdma/rdmashareddevicea。 Decode 菜单中的 DecodeMaster，DecodeWorker 中的资源都要填 GPU 和自定义资源 rdma/rdmashareddevicea。 简单的示例： 推理框架： nvidiavllm 框架版本：v0.11.2 推理模型：deepseekr1distillqwen1.5b 模型版本：v1 队列：选择存在且资源足够的的队列

本节介绍如何创建vLLM GPU多机PD分离任务。 前置条件 1. 确认智算套件已经安装并且全部运行中 2. 进入智算套件，AI应用管理，队列管理，确保队列存在并且有足够的资源(GPU,CPU,内存,rdma/rdmashareddevicea) [参考创建队列的文档] 操作步骤 创建任务 进入智算套件，AI应用列表，在线推理菜单，创建AI应用 基本信息 应用类型：vLLM 开启PD分离选择：静态PD分离 推理类型选择：多机 配置信息 推理框架，框架版本，推理模型，模型版本，Prefill 实例数和副本数，Decode 实例数和副本数，根据实际情况选择。 简单的示例： 推理框架： nvidiavllm 框架版本：v0.11.2 推理模型：deepseekr1distillqwen1.5b 模型版本：v1 队列：选择存在且资源足够的的队列 注意 Prefill 实例数和副本数，Decode 实例数和副本数用默认参数即可。 Prefill 菜单中的 PrefillMaster, PrefillWorker，Decode 菜单中的 DecodeMaster，DecodeWorker 启动参数用默认参数即可。 Prefill 菜单中的 PrefillMaster, PrefillWorker 中的资源都要填 GPU 和自定义资源 rdma/rdmashareddevicea。 Decode 菜单中的 DecodeMaster，DecodeWorker 中的资源都要填 GPU 和自定义资源 rdma/rdmashareddevicea。

批量删除 1.勾选一个或多个共享资源池后，批量删除按钮由灰色变成可操作。 2.其他流程与删除流程类似，.如果勾选的资源池有被队列引用，则只能先删除队列，才可以删除共享资源池。

本节介绍Group不存在但能消费消息原因 我在分布式消息服务Kafka控制台上，未查看到对应的Group，但此Group下却有消费线程在消费消息。 可能原因 如果客户端使用assign方式消费消息，那么即使不创建Group，也可能消费消息。 如果客户端使用subscribe方式消费消息，删除Group后，消费线程未停止或者未发生Rebalance，那么消费线程还可以继续正常消费。 解决方案 如果客户端使用assign方式消费消息，请提前在分布式消息服务Kafka控制台创建Group。 请尽量复用Group，避免创建过多的Group而影响集群的稳定性。 在删除Group前，请确保已停止该Group下的所有消费线程。

本节介绍如何查看防护容器的下线通知和删除服务通知。 消息中心页面提供防护容器的下线通知和删除服务通知，以便用户及时恢复防护容器。 查看消息 1. 登录容器安全卫士控制台。 2. 在左侧导航栏，选择“消息中心”，进入消息中心页面。 3. 支持查看“服务信息”和“删除服务”类消息。 标记已读 在消息中心页面，阅读消息后，可以勾选多条消息后，单击“标记已读”，在弹出的对话框中，可以选择“全部标记已读”或只对当前选择项标记已读，选择完成后，单击“确认”。

参数名称 说明 分区数 Topic的分区数。 老化时间 消息的最长保留时间。 副本数 Topic每个分区的副本数量。 同步复制 后端收到生产消息请求并复制给所有副本后，才返回客户端。 同步落盘 开启：生产的每条消息都会立即写入磁盘，可靠性更高。 关闭：生产的消息存在内存中，不会立即写入磁盘。 消息时间戳类型 定义消息中的时间戳类型，取值如下： CreateTime：生产者创建消息的时间。 LogAppendTime：broker将消息写入日志的时间。 批处理消息最大值 Kafka允许的最大批处理大小，如果启用消息压缩，则表示压缩后的最大批处理大小。 如果增加“批处理消息最大值”的值，且存在消费者版本早于0.10.2，此时消费者的“fetch size”值也必须增加，以便消费者可以获取增加后的批处理大小。 描述 Topic的描述信息。

系统角色/策略名称 描述 类别 依赖关系 DMS FullAccess 分布式消息服务管理员权限，拥有该权限的用户可以操作所有分布式消息服务的功能。 系统策略 无 DMS UserAccess 分布式消息服务普通用户权限（没有实例创建、修改、删除、扩容）。 系统策略 无 DMS ReadOnlyAccess 分布式消息服务的只读权限，拥有该权限的用户仅能查看分布式消息服务数据。 系统策略 无 DMS VPCAccess 分布式消息服务租户委托时需要授权的VPC操作权限。 系统策略 无 DMS KMSAccess 分布式消息服务租户委托时需要授权的KMS操作权限。 系统策略 无 DMS Administrator 分布式消息服务的管理员权限。 系统角色 依赖Tenant Guest和VPC Administrator。

介绍分布式消息服务Kafka重置消费位置功能操作内容。 场景描述 Kafka重置消费位置的场景包括以下几个： 初次消费：当一个新的消费者加入到Kafka集群时，它需要从某个位置开始消费消息。在这种情况下，可以将消费位置重置为最早的消息或最新的消息。 消费者组重置：当消费者组中的消费者发生变化，如新增或退出消费者，可能需要重置消费位置。在这种情况下，可以将消费位置重置为最早的消息或最新的消息。 消费者出现故障：当消费者发生故障，并且需要将其替换或修复时，可能需要重置消费位置。在这种情况下，可以将消费位置重置为最早的消息或最新的消息，以确保新的消费者能够从正确的位置开始消费。 消费者重新处理消息：在某些情况下，消费者可能需要重新处理之前已经消费过的消息。这可能是由于消费者的处理逻辑发生变化，或者需要重新计算之前的结果。在这种情况下，可以将消费位置重置为指定的消息位置，以便消费者重新处理消息。 消费者消费速度过慢：当消费者的处理能力不足，无法及时消费消息时，可能需要重置消费位置。在这种情况下，可以将消费位置重置为最新的消息，以便消费者能够跳过堆积的消息，从最新的消息开始消费。 操作步骤 Tips：目前消费只能重置72小时内的消息，可选择72小时内时间点重置。 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消费组管理”后进入消费组管理页面。 （5）在目标消费组所在行，点击其右侧的“更多”，在下拉框中单击“重置消费位置”。 （6）出现重置消费位置窗口后，可以选择从最新点位开始消费、从最旧点位开始消费、按时间点进行消费位置重置、重置消费点位到附近n条。 四种重置方式试用场景如下： 从最新点位开始消费：将消费者的消费位置重置为最新的消息。这意味着消费者将从当前Kafka主题的最新消息开始消费，忽略之前已经产生的消息。这种方式适用于只关注最新消息的场景，如实时监控或日志记录。 从最旧点位开始消费：将消费者的消费位置重置为最早的消息。这意味着消费者将从当前Kafka主题的最早消息开始消费，包括之前已经产生的消息。这种方式适用于需要处理全部消息历史记录的场景，如数据重播或数据分析。 按时间点进行消费位置重置：将消费者的消费位置重置为指定的时间点。这意味着消费者将从指定时间点之后的消息开始消费，可以精确地选择消费的起始位置。这种方式适用于需要从特定时间点开始消费的场景，如数据回溯或重新处理。 重置消费点位到附近n条：将消费者的消费位置重置到指定的消费位点上，这个是分区级别的，因此可以更加精确地选择消费的起始位置。这种方式适用于需要从特定位点开始消费的场景，如数据回溯或重新处理。

功能说明 DeleteBucketPolicy接口用于删除指定桶的策略。 消息样式 plaintext DELETE /{Bucket}?policy HTTP/1.1 Host: xxx.zos.ctyun.cn xamzcontentsha256: ContentSHA256 xamzdate: Date Authorization: Auth String 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: Request Id ContentLength: ContentLength Date: Date Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

功能说明 删除指定桶的策略。 消息样式 plaintext DELETE /{Bucket}?policy HTTP/1.1 Host: xxx.zos.ctyun.cn XAmzDate: Date XAmzContentSHA256: ContentSHA256 Authorization: Auth String 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: Request Id ContentLength: ContentLength Date: Date Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

发生消费位点重置的两种情况 当服务端不存在曾经提交过的位点时（比如客户端第一次上线）； 当从非法位点拉取消息时（比如某个分区最大位点是10，但客户端却从11开始拉取消息）。 配置重置策略 Java 客户端可以通过auto.offset.reset来配置重置策略，主要策略有： latest：从最大位点开始消费； earliest：从最小位点开始消费； none：不做任何操作，也即不重置。 策略配置建议 强烈建议设置成“latest”，而不要设置成“earliest”，避免因位点非法时从头开始消费，从而造成大量重复 如果是客户自己管理位点，可以设置成”none”； 拉取大消息。 拉取消息注意事项 消费过程是由客户端主动去服务端拉取消息的，在拉取大消息时，需要注意控制拉取速度，注意修改配置。 max.poll.records：如果单条消息超过1MB，建议这里设置为1； fetch.max.bytes：设置比单条消息的大小略大一点； max.partition.fetch.bytes：设置比单条消息的大小略大一点。拉取大消息的核心是一条一条拉。

介绍分布式消息服务Kafka按时间查询消息功能操作内容。 场景描述 Kafka按时间查询是指通过指定时间范围来查询Kafka主题中的消息。以下是一些常见的按时间查询的场景描述： 数据分析和报告：在数据分析和报告生成的场景中，经常需要按时间查询Kafka主题中的消息。通过指定起始时间和结束时间，可以获取在特定时间范围内产生的消息，用于进一步的数据分析和报告生成。 故障排查：当出现故障或问题时，按时间查询可以帮助定位问题的发生时间和相关的消息。通过指定故障发生的时间范围，可以获取相关的消息，用于故障排查和问题分析。 监控和警报：按时间查询还可以用于监控和警报系统。通过定期按时间查询Kafka主题中的消息，可以检查是否有异常或异常事件发生，并触发相应的警报机制。 数据回溯和重播：按时间查询功能还可以用于数据回溯和重播。通过指定特定的时间范围，可以获取过去某个时间段内的消息，并进行数据回溯或重播操作。 数据同步和复制：在数据同步和复制的场景中，按时间查询可以帮助确保数据的一致性。通过按时间查询源和目标主题中的消息，可以比较不同时间段内的消息，并进行数据同步和复制操作。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消息查询”后默认就是按点位查询。 （5）选择按时间查询，选择需要查询的Topic，输入分区号以及时间段，点击”查询“按钮，会返回时间段内的所有消息。 （6）点击消息列表的“消息详情”可查看消息详情信息。

回调消息即需要云通信平台通知客户的消息。例如短信发送之后，接收平台推送的短信发送状态和用户回复的短信内容，随时掌握短信的发送成功率和用户的反馈信息。 配置回调消息接收URL 如果需要接收回执消息，必须先在控制台上开启消息接收。 1. 登录云通信控制台。 2. 在左侧导航栏中选择 消息设置 。 3. 在事件回调配置 中分别配置 状态报告通知URL 、 事件回调URL 、用户回复URL。 回调消息类型 名称 描述 HTTP批量推送模式 ::: smsMo（上行短信消息） 上行短信指用户发送给通信服务提供商的短信，用于定制某种服务、完成某种查询、或是办理某种业务等。通过订阅SmsMo上行短信消息，可以获知终端用户回复短信的内容。 smsMo smsReport（短信状态报告） 与上行短信相对应的是下行短信。下行是指用户收到的短信，例如运营商发送的消息通知、业务提醒等短信。通过订阅SmsReport短信下行状态报告，可以获知每条短信的发送情况，了解短信是否达到终端用户的状态与相关信息。 smsReport eventReport（事件回调消息） 可以查询签名，模板的审核状态。 eventReport

本文为您介绍分布式消息服务MQTT的产品优势。 分布式消息服务MQTT（Message Queuing Telemetry Transport）是一种轻量级的、发布/订阅模式的消息传递协议，通常用于分布式消息服务和物联网（IoT）应用。以下是MQTT的一些优势： 轻量级协议： MQTT是一种非常轻量级的协议，适用于各种网络环境，包括低带宽、高延迟或不稳定的网络。这使得它非常适合在IoT设备之间传递消息，因为这些设备通常有限的资源和能源。 发布/订阅模式： MQTT采用发布/订阅模式，允许客户端订阅感兴趣的主题，以接收与这些主题相关的消息。这种模式具有灵活性，能够支持多对多的通信，而不需要直接点对点的连接。 异步通信： MQTT允许异步通信，客户端可以发布消息而不必等待接收方的响应。这有助于提高系统的响应速度和吞吐量。 保留消息： MQTT支持保留消息，这意味着最新的消息可以保留在主题中，以便新订阅者可以立即获取到最新数据，而不必等待下一个消息发布。 服务质量（QoS）： MQTT允许设置不同级别的服务质量，从不保证消息送达（QoS 0）到确保消息送达且不重复传递（QoS 2）。这使得可以根据应用的需求选择适当的传递质量。 可伸缩性： MQTT协议可以在大规模分布式系统中轻松扩展，支持成千上万的客户端同时连接到Broker，使其适用于大型IoT解决方案。 消息过滤： MQTT支持使用通配符来订阅主题，这允许客户端根据特定模式匹配多个主题，以接收相关消息。 支持遗愿消息： MQTT支持遗愿消息（Will Messages），允许客户端指定在异常断开连接时发送一条预定义消息。这对于检测设备在线状态非常有用。 跨平台和多语言支持： MQTT具有广泛的跨平台和多语言支持，因此可以在各种设备和编程语言上使用，使得它非常灵活。 安全性： MQTT可以与安全机制（如TLS/SSL）结合使用，确保消息在传输过程中的安全性和隐私。 总的来说，MQTT是一种高效、灵活和可靠的协议，特别适用于分布式消息传递和IoT应用，因此在物联网、远程监控、实时通信等领域得到广泛应用。它的轻量级特性和异步通信使得它成为连接数众多的设备的理想选择。

参数名称 描述 用户名 被授权的用户名称。 说明 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 权限设置 更新：当前用户可更新弹性资源池的描述信息。 资源管理：当前用户可在弹性资源池上添加队列、删除队列、操作队列的扩缩容策略配置。 删除：当前用户可删除此弹性资源池。 赋权：当前用户可将弹性资源池的操作权限赋予其他用户。 回收：当前用户可回收其他用户具备的该弹性资源池的权限，但不能回收该弹性资源池所有者的权限。 查看其他用户具备的权限：当前用户可查看其他用户具备的该弹性资源池的权限。

指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 主题 (topic，kafka的topic监控数据。) id id clientid和ip信息 ENUM LAST 主题 (topic，kafka的topic监控数据。) topic topic kafka的topic名称 ENUM LAST 主题 (topic，kafka的topic监控数据。) bytesConsumedRate 每秒消费字节 每秒消费字节 Byte INT AVG 主题 (topic，kafka的topic监控数据。) fetchSizeAvg 请求获取平均字节 请求获取平均字节 Byte INT AVG 主题 (topic，kafka的topic监控数据。) fetchSizeMax 请求获取最大字节 请求获取最大字节 Byte INT MAX 主题 (topic，kafka的topic监控数据。) recordsConsumedRate 每秒消费消息数 每秒消费消息数 INT AVG 主题 (topic，kafka的topic监控数据。) recordsPerRequestAvg 单次请求平均消息数 单次请求平均消息数 INT AVG 主题 (topic，kafka的topic监控数据。) seqIds Producer生成序列号 Producer生成序列号 STRING LAST 主题 (topic，kafka的topic监控数据。) recordConsumedTotal 总消费次数 总消费次数 INT SUM 主题 (topic，kafka的topic监控数据。) bytesConsumedTotal 总消费字节数 总消费字节数 INT SUM fetch (fetch，kafka的fetch监控数据) id id clientid和ip信息 ENUM LAST fetch (fetch，kafka的fetch监控数据) bytesConsumedRate 每秒消费字节 每秒消费字节 Byte INT AVG fetch (fetch，kafka的fetch监控数据) fetchLatencyAvg 请求平均时延 请求平均时延 ms INT AVG fetch (fetch，kafka的fetch监控数据) fetchLatencyMax 请求最大时延 请求最大时延 ms INT MAX fetch (fetch，kafka的fetch监控数据) fetchRate 每秒请求数 每秒请求数 INT AVG fetch (fetch，kafka的fetch监控数据) fetchSizeAvg 请求获取平均字节 请求获取平均字节 Byte INT AVG fetch (fetch，kafka的fetch监控数据) fetchSizeMax 请求获取最大字节 请求获取最大字节 Byte INT MAX fetch (fetch，kafka的fetch监控数据) recordsConsumedRate 每秒消费消息数 每秒消费消息数 INT AVG fetch (fetch，kafka的fetch监控数据) recordsLagMax 最大堆积消息数 最大堆积消息数 INT MAX fetch (fetch，kafka的fetch监控数据) recordsPerRequestAvg 单次请求平均消息数 单次请求平均消息数 INT AVG fetch (fetch，kafka的fetch监控数据) seqIds Producer生成序列号 Producer生成序列号 STRING LAST fetch (fetch，kafka的fetch监控数据) recordConsumedTotal 总消费次数 总消费次数 INT SUM fetch (fetch，kafka的fetch监控数据) bytesConsumedTotal 总消费字节数 总消费字节数 INT SUM partition (partition，kafka的partition监控数据。) id id clientid和ip信息 ENUM LAST partition (partition，kafka的partition监控数据。) partition partition kafka的partition名称 ENUM LAST partition (partition，kafka的partition监控数据。) recordsLag 堆积消息数 堆积消息数 INT LAST partition (partition，kafka的partition监控数据。) recordsLagAvg 平均堆积消息数 平均堆积消息数 INT AVG partition (partition，kafka的partition监控数据。) recordsLagMax 最大堆积消息数 最大堆积消息数 INT MAX partition (partition，kafka的partition监控数据。) seqIds Producer生成序列号 Producer生成序列号 STRING LAST kafka消费方法监控 (consumer，kafka消费方法监控。) method method 消费方法 ENUM LAST kafka消费方法监控 (consumer，kafka消费方法监控。) concurrentMax 最大并发 最大并发 INT MAX kafka消费方法监控 (consumer，kafka消费方法监控。) errorCount 错误数 错误数 INT SUM kafka消费方法监控 (consumer，kafka消费方法监控。) invokeCount 调用次数 调用次数 INT SUM kafka消费方法监控 (consumer，kafka消费方法监控。) lastError 错误信息 发生错误时产生的错误信息 STRING LAST kafka消费方法监控 (consumer，kafka消费方法监控。) maxTime 最大响应时间 采集周期内最大响应时间 INT MAX kafka消费方法监控 (consumer，kafka消费方法监控。) range1 010ms 响应时间在010ms范围调用次数 INT SUM kafka消费方法监控 (consumer，kafka消费方法监控。) range2 10100ms 响应时间在10100ms范围调用次数 INT SUM kafka消费方法监控 (consumer，kafka消费方法监控。) range3 100500ms 响应时间在100500ms范围调用次数 INT SUM kafka消费方法监控 (consumer，kafka消费方法监控。) range4 5001000ms 响应时间在5001000ms范围调用次数 INT SUM kafka消费方法监控 (consumer，kafka消费方法监控。) range5 110s 响应时间在110s范围调用次数 INT SUM kafka消费方法监控 (consumer，kafka消费方法监控。) range6 10s以上 响应时间在10s以上调用次数 INT SUM kafka消费方法监控 (consumer，kafka消费方法监控。) totalTime 总响应时间 总响应时间 INT SUM KafkaConsumer汇总（total，KafkaConsumer汇总信息统计。） recordConsumedTotal 总消费次数 总消费次数 INT SUM KafkaConsumer汇总（total，KafkaConsumer汇总信息统计。） bytesConsumedTotal 总消费字节数 总消费字节数 INT SUM KafkaConsumer汇总（total，KafkaConsumer汇总信息统计。） recordsLag 总堆积消息数 总堆积消息数 INT LAST 异常 (exception，kafka消费异常信息。) causeType 异常发生类 异常发生类 ENUM LAST 异常 (exception，kafka消费异常信息。) exceptionType 异常类 异常类 ENUM LAST 异常 (exception，kafka消费异常信息。) count 数量 异常数量 INT SUM 异常 (exception，kafka消费异常信息。) message 异常消息 异常消息 STRING LAST 异常 (exception，kafka消费异常信息。) stackTrace 异常堆栈 异常堆栈 CLOB LAST

功能说明 DeleteBucket请求删除指定的Bucket。 注意事项 不可删除非空桶（桶中有对象、碎片等）。 请求消息样式 plaintext DELETE /{Bucket} HTTP/1.1 Host: xxx.zos.ctyun.cn xamzcontentsha256: e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 xamzdate: 20220406T133143Z Authorization: authorization string 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000001c00624d963f1217bdefault Date: Wed, 06 Apr 2022 13:31:43 GMT Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

功能说明 DeleteBucketCORS用来删除桶的跨域资源共享权限配置。 请求消息样式 plaintext DELETE /{Bucket}?cors HTTP/1.1 Host: xxx.zos.ctyun.cn ContentLength: ContentLength xamzcontentsha256: ContentSHA256 xamzdate: Date Authorization: Auth String 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: Request Id ContentType: ContentType ContentLength: ContentLength Date: Date Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

功能说明 Delete Bucket CORS用来删除桶的跨域资源共享权限配置。 请求消息样式 plaintext DELETE /{Bucket}?cors HTTP/1.1 Host: xxx.zos.ctyun.cn xamzdate: Date xamzcontentsha256: ContentSHA256 Authorization: Auth String ContentLength: ContentLength 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: Request Id ContentType: ContentType ContentLength: ContentLength Date: Date Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

功能说明 Delete Bucket Encryption请求删除存储桶默认加密配置。 请求消息样式 plaintext Host: xxxx.zos.ctyun.cn AcceptEncoding: Identity XAmzContentSha256: ContentSHA256 XAmzDate: Date ContentLength: ContentLength Authorization: Auth String 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: Request Id Date: Date ContentType: application/xml Connection: KeepAlive ContentLength: ContentLength 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

Kafka 消费的语义是 “at least once”， 也就是至少投递一次，保证消息不丢，但是不会保证消息不重复。在出现网络问题、客户端重启时均有可能出现少量重复消息，此时应用消费端如果对消息重复比较敏感（比如说订单交易类），则应该做到消息幂等。 以数据库类应用为例，常用做法是： 发送消息时，传入 key 作为唯一流水号ID； 消费消息时，判断 key 是否已经消费过，如果已经消费过了，则忽略，如果没消费过，则消费一次； 当然，如果应用本身对少量消息重复不敏感，则不需要做此类幂等检查。

功能说明 DeleteBucketLifecycle接口用于删除存储桶设置的生命周期规则。 请求消息样式 plaintext DELETE /{Bucket}?lifecycle HTTP/1.1 Host: xxx.zos.ctyun.cn Date: Date ContentLength: ContentLength XAmzContentSHA256: ContentSHA256 Authorization: string 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 指定存储桶名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000002e00624e43581217bdefault ContentType: application/xml Date: Thu, 07 Apr 2022 01:50:16 GMT Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

本章节介绍ZooKeeper常用的技术应用场景以及优势 ZooKeeper 常用的技术应用场景如下所述。 场景一：分布式协调 分布式锁 ：在分布式环境中，程序都在独立的节点上，分布式锁是控制分布式系统之间同步访问共享资源的一种方式，分布式锁主要有如下2种类型： 独占锁：主要实现原理是利用ZooKeeper在一个具体路径下每个进程创建一个有序的临时节点，每个进程会判断自己的节点是否序号最小的节点，如果是则获得锁，如果不是则创建一个监听等待前一个序号小的临时节点释放锁。 共享锁：共享锁可以支持多个进程同时获取这把锁进行读操作，但是如果某个进程要获取写操作的权限，那么在写操作之前是没有读操作的数据，并且该进程是第一个获取到写操作类型锁的。 分布式队列 ：队列功能可以利用ZooKeeper的有序节点，实现先进先出（First Input First Output，简称FIFO）的分布式队列，即先进入队列的先被消费，后加入队列的后被消费。在创建znode时开启sequence 和 ephemeral模式，则被创建的节点结尾是一个递增的值，且不会重复。 场景二：配置中心 运用ZooKeeper的存储模式，实现配置信息的集中管理和数据的动态更新，保证了配置数据的一致性和实时性。

保证数据安全和访问安全 多租户场景下，分开存放不同租户的数据，以保证数据安全；控制用户对租户资源的访问权限，以保证访问安全。 调度器增强 多租户根据调度器类型分为开源的Capacity调度器和自主研发的增强型Superior调度器。为满足企业需求，克服Yarn社区在调度上遇到的挑战与困难，自主研发的Superior调度器，不仅集合了当前Capacity调度器与Fair调度器的优点，还做了以下增强： 增强资源共享策略 Superior调度器支持队列层级，在同集群集成开源调度器的特性，并基于可配置策略进一步共享资源。针对实例，管理员可通过Superior调度器为队列同时配置绝对值或百分比的资源策略计划。Superior调度器的资源共享策略将YARN的标签调度增强为资源池特性，YARN集群中的节点可根据容量或业务类型不同，进行分组以使队列更有效地利用资源。 基于租户的资源预留策略 部分租户可能在某些时间中运行关键任务，租户所需的资源应保证可用。Superior调度器构建了支持资源预留策略的机制，在这些租户队列运行的任务可立即获取到预留资源，以保证计划的关键任务可正常执行。 租户和资源池的用户公平共享 Superior调度器提供了队列内用户间共享资源的配置能力。每个租户中可能存在不同权重的用户，高权重用户可能需要更多共享资源。

介绍分布式消息服务Kafka生产拨测功能操作内容。 场景描述 通过生产消息，确保Kafka集群能够稳定接收并传递生产者发送的消息，同时消费者能够成功订阅并处理这些消息，以此确认集群的基本功能和网络连接均处于正常状态。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“Topic管理”后进入主题管理页面。 （5）选择需要生产消息的Topic，点击其右侧“更多”，在下拉框中点击“生产消息”按钮。 （6）在弹窗中，输入消息内容、消息条数等信息，点击确认即可发送。

参数 参数说明 Topic名称 Topic名称，英文字母、数字、下划线开头，且只能由英文字母、数字、中划线、下划线组成，长度为364个字符。创建Topic后不能修改名称。 分区数 您可以设置Topic的分区数，分区数越大消费的并发度越大。该参数设置为1时，消费消息时会按照先入先出的顺序进行消费。取值范围：1100，默认值：6 副本数 每个Topic设置副本的数量，Kafka会自动在每个副本上备份数据，当其中一个Broker节点故障时数据依然是可用的，副本数越大可靠性越高。默认值：3 分区容量 每个分区的数据量的最大值，超过这个值后前面生产的消息将会被删除，保证了数据不会无限上涨挤爆磁盘。 是否同步刷盘 同步刷盘即确保消息被写入磁盘才会被认定为生产成功，该参数可提高可靠性，但是会影响性能。 消息保留时长 当消息生存时间超过该时长后，将会被清理，可用于控制存储成本。 最小同步副本数 该参数使得消息必须写入设定值个数的副本后，才能被认定生产成功，该参数可提高可靠性，但是过大会影响性能，且必须不大于副本数。 批处理消息最大值 每个批次中最大允许的消息大小，这影响了每次请求中能包含的消息总量和大小。 消息时间戳类型 CreateTime: 这是消息被生产者发送到Kafka时的时间戳，它表示消息创建的实际时间；LogAppendTime: 这是消息被Kafka日志接收并写入到日志文件时的时间戳，它表示消息写入 Kafka 的实际时间。 描述 topic的描述字段，可用作标记和说明。 标签 标签用于从不同维度对资源分类管理。 预设ACL策略 勾选提前设置好的 ACL 策略，具体 ACL 策略设置可参考用户管理页面的ACL策略管理。 消息清除策略 delete：超过消息保留时长后，消息将被删除。compact：超过消息保留时长后，消息将会被压缩而不是直接删除。 允许unclean副本选举 开启该选项后，不在ISR的副本也将可以参与leader选举。 分片滚动时间 当一个日志段的最老消息的创建时间与当前时间的差值达到该配置的值时，Kafka 会创建一个新的日志段。 分片大小 当一个日志段的大小达到该配置的值时，Kafka 会创建一个新的日志段。该配置和分片滚动时间配置可以同时使用，具体看哪个条件先行触发。

功能说明 DeleteObject请求删除指定的对象。 请求消息样式 plaintext DELETE /{Bucket}/{Key}?versionIdVersionId HTTP/1.1 Host: xxx.zos.ctyun.cn xamzcontentsha256: ContentSHA256 xamzdate: Date Authorization: Auth String Connection: keepalive 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： Bucket的名称。 String 是 Key 参数解释： 删除对象的Key。 String 是 versionId 参数解释： 删除对象的版本号。 String 否 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: Request Id Date: Date Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

功能说明 DeleteBucketWebsite请求为删除存储桶中的Website配置（静态网站托管配置或者数据回源配置）。 请求消息样式 plaintext DELETE /{Bucket}?website HTTP/1.1 Host: xxxx.zos.ctyun.cn AcceptEncoding: identity xamzdate: 20220408T091336Z xamzcontentsha256: e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 Authorization: string ContentLength: 0 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000000300624ffcc01138default ContentType: application/xml Date: Fri, 08 Apr 2022 09:13:36 GMT Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

功能说明 Delete Bucket Inventory Configuration删除目标桶的某项桶清单配置。 请求消息样式 plaintext DELETE /{Bucket}?inventory&idxxx HTTP/1.1 Host: xxx.zos.ctyun.cn xamzdate: Date xamzcontentsha256: ContentSHA256 Authorization: Auth String ContentLength: ContentLength 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 id 参数解释： 用来标识清单规则的id。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: Request Id ContentType: ContentType ContentLength: ContentLength Date: Date Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

本文介绍科研助手的应用类常见问题。 科研助手适用哪些场景？ HPC：适用于视频渲染、视频转码（视频格式转换、视频分辨率变化、添加水印/logo的）、科研教育等领域。 科学计算：适用于仿真模拟、化学分子计算、流体计算等。 生物分析：适用于基因测序、药物检测等领域。 科研助手的核心功能有哪些？ 多资源池管理： 底层资源池ECK专有资源、Serverless共享容器资源池、ECX虚拟机资源池满足不同价格区间的业务需求。 队列管理： 提供对作业队列管理，支持CPU/GPU作业和队列管理。 开发环境： 以云原生的资源使用和开发工具链的集成，为不同类型开发、探索、教学用户，提供更好云化开发体验。