本节介绍如何创建MindIE NPU多机推理任务。 本示例基于 MindIE 推理框架，选用 DeepSeekV3.1w8a8c8QuaRot 模型进行多机部署。整体部署 1 个推理应用实例，由 1 个 Master+ 1 个 Worker 角色组成，每个角色占用 8 张 NPU 卡，因此本任务共使用 2 台机器、16 张 NPU 卡，用于验证模型在多机环境下的推理能力。 前置条件 1. 确认智算套件已经安装并且全部运行中。 2. 进入智算套件，AI应用管理，队列管理，确保队列存在并且有足够的资源(NPU,CPU,内存) [参考创建队列的文档]。 操作步骤 创建应用 进入智算套件，AI应用列表，在线推理菜单，创建AI应用。 基本信息 应用类型：MindIE 应用数：1 配置信息 推理类型选择多机，推理框架，框架版本，推理模型，模型版本根据实际情况选择。简单的示例： 推理框架： ascendmindie 框架版本：2.2.RC1800IA2py311openeuler24.03lts 推理模型：DeepSeekV3.1w8a8c8QuaRot 模型版本：v1 队列：选择存在且资源足够的的队列

本节介绍如何创建MindIE NPU多机推理任务。 本示例基于 MindIE 推理框架，选用 DeepSeekV3.1w8a8c8QuaRot 模型进行多机部署。整体部署 1 个推理应用实例，由 1 个 master + 1 个 worker 角色组成，每个角色占用 8 张 NPU 卡，因此本任务共使用 2 台机器、16 张 NPU 卡，用于验证模型在多机环境下的推理能力。 前置条件 1. 确认智算套件已经安装并且全部运行中。 2. 进入智算套件，AI应用管理，队列管理，确保队列存在并且有足够的资源(NPU,CPU,内存) [参考创建队列的文档]。 操作步骤 创建应用 进入智算套件，AI应用列表，在线推理菜单，创建AI应用。 基本信息 应用类型：MindIE 应用数：1 配置信息 推理类型选择多机，推理框架，框架版本，推理模型，模型版本根据实际情况选择。简单的示例： 推理框架： ascendmindie 框架版本：2.2.RC1800IA2py311openeuler24.03lts 推理模型：DeepSeekV3.1w8a8c8QuaRot 模型版本：v1 队列：选择存在且资源足够的的队列

本节介绍如何创建vLLM NPU单机推理任务。 前置条件 1. 确认智算套件已经安装并且全部运行中。 2. 进入智算套件，AI应用管理，队列管理，确保队列存在并且有足够的资源(NPU,CPU,内存) [参考创建队列的文档]。 操作步骤 创建任务 进入智算套件，AI应用列表，在线推理菜单，创建AI应用。 基本信息 应用类型：vLLM 推理类型选择：单机 配置信息 推理框架，框架版本，推理模型，模型版本根据实际情况选择。简单的示例： 推理框架： ascendvllm 框架版本：v0.13.0rc1 推理模型：deepseekr1distillqwen1.5b 模型版本：v1 资源：CPU，内存，共享内存可以不填 选择 NPU：2 队列：选择存在且资源足够的的队列 Master 点击确认完成创建。

本节介绍如何创建vLLM NPU单机推理任务。 前置条件 1. 确认智算套件已经安装并且全部运行中 2. 进入智算套件，AI应用管理，队列管理，确保队列存在并且有足够的资源(NPU,CPU,内存) [参考创建队列的文档] 操作步骤 创建任务 进入智算套件，AI应用列表，在线推理菜单，创建AI应用 基本信息 应用类型：vLLM 推理类型选择：单机 配置信息 推理框架，框架版本，推理模型，模型版本根据实际情况选择。 简单的示例： 推理框架： ascendvllm 框架版本：v0.13.0rc1 推理模型：deepseekr1distillqwen1.5b 模型版本：v1 资源：CPU，内存，共享内存可以不填 选择 NPU：2 队列：选择存在且资源足够的的队列 点击确认完成创建。

参数名 描述 集群 显示上级父租户所在集群。 父租户资源 显示上级父租户的名称。 名称 指定当前租户的名称，长度为3~50个字符，可包含数字、字母或下划线（）。 根据业务需求规划子租户的名称，不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。 租户类型 指定租户是否是一个叶子租户： 选择“叶子租户”：当前租户为叶子租户，不支持添加子租户。 选择“非叶子租户”：当前租户为非叶子租户，支持添加子租户，但租户层级不能超过5层。 计算资源 为当前租户选择动态计算资源。 选择“Yarn”时，系统自动在Yarn中以子租户名称创建任务队列。− 如果是叶子租户，叶子租户可直接提交到任务队列中。− 如果是非叶子租户，非叶子租户不能直接将任务提交到队列中。但是，Yarn会额外为非叶子租户增加一个任务队列（隐含），队列默认命名为“default”，用于统计当前租户剩余的资源容量，实际任务不会分配在此队列中运行。 不选择“Yarn”时，系统不会自动创建任务队列。 默认资源池容量（%） 配置当前租户使用的计算资源百分比，基数为父租户的资源总量。 默认资源池最大容量（%） 配置当前租户使用的最大计算资源百分比，基数为父租户的资源总量。 存储资源 为当前租户选择存储资源。 选择“HDFS”时，系统将自动在HDFS父租户目录中，以子租户名称创建文件夹。 不选择“HDFS”时，系统不会分配存储资源。 文件目录数上限 配置文件和目录数量配额。 存储空间配额 配置当前租户使用的HDFS存储空间配额。 当存储空间配额单位设置为MB时，范围为1～8796093022208，当“存储空间配额单位”设置为GB时，范围为1～8589934592。 此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。 如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。 如果此配额大于父租户的配额，实际存储量不超过父租户配额。 存储路径 配置租户在HDFS中的存储目录。 系统默认将自动在父租户目录中以子租户名称创建文件夹。例如子租户“ta1s”，父目录为“/tenant/ta1”，系统默认自动配置此参数值为“/tenant/ta1/ta1s”，最终子租户的存储目录为“/tenant/ta1/ta1s”。 支持在父目录中自定义存储路径。 描述 配置当前租户的描述信息

本节介绍如何创建vLLM NPU多机PD分离任务。 前置条件 1. 确认智算套件已经安装并且全部运行中。 2. 进入智算套件，AI应用管理，队列管理，确保队列存在并且有足够的资源(NPU,CPU,内存) [参考创建队列的文档]。 操作步骤 创建任务 进入智算套件，AI应用列表，在线推理菜单，创建AI应用。 基本信息 应用类型：vLLM 开启PD分离选择 静态PD分离 配置信息 推理类型选择多机，推理框架，框架版本，推理模型，模型版本，Prefill 实例数和副本数，Decode 实例数和副本数，根据实际情况选择。简单的示例： 推理框架： ascendvllm 框架版本：v0.11.0rc2 推理模型：deepseekr1distillqwen1.5b 模型版本：v1 队列：选择存在且资源足够的的队列 注意 Prefill 实例数和副本数，Decode 实例数和副本数用默认参数即可。 Prefill 菜单中的 PrefillMaster, PrefillWorker，Decode 菜单中的 DecodeMaster，DecodeWorker 启动参数用默认参数即可。 Prefill 菜单中的 PrefillMaster, PrefillWorker 中的资源都要填 NPU。 Decode 菜单中的 DecodeMaster，DecodeWorker 中的资源都要填 NPU。

重视消息生产与消费的确认过程 消息生产（发送） Kafka非常重视消息生产确认过程，它提供了可靠的消息传递保证。下面是Kafka在消息生产确认方面的一些关键特性和机制： 同步发送和异步发送：Kafka提供了同步发送和异步发送两种方式。在同步发送中，生产者会等待服务器确认消息已成功写入到所有副本中，然后才会返回确认。这种方式可以确保消息的可靠性，但会影响吞吐量。而在异步发送中，生产者会立即返回确认，不等待服务器的响应。这种方式可以提高吞吐量，但消息的可靠性可能会有所降低。 消息复制机制：Kafka使用多个副本来保证消息的可靠性。在消息发送过程中，生产者将消息写入到主副本，并将消息复制到其他副本。只有当所有副本都成功写入消息后，生产者才会返回确认。这样可以确保即使主副本发生故障，仍然可以从其他副本中读取到消息。 ISR机制：Kafka使用ISR（InSync Replicas）机制来保证消息的可靠性。ISR是指与主副本保持同步的副本集合。只有ISR中的副本成功写入消息后，生产者才会返回确认。如果某个副本与主副本的同步延迟超过一定阈值，那么它将被移出ISR，不再参与消息的确认过程，直到与主副本同步。 消息持久化：Kafka将消息持久化到磁盘，以确保即使发生故障，消息也不会丢失。消息被写入到日志文件中，并通过索引来提供高效的读取和检索。 可配置的确认级别：Kafka提供了可配置的消息确认级别。确认级别可以设置为0、1或all。在确认级别为0时，生产者不会等待服务器的确认，直接返回确认。在确认级别为1时，生产者会等待主副本的确认。在确认级别为all时，生产者会等待所有副本的确认。确认级别的选择可以根据应用的需求和性能要求进行调整。 总之，Kafka通过同步发送、消息复制、ISR机制、消息持久化和可配置的确认级别等机制，重视消息生产确认过程，以确保消息的可靠性和一致性。这些机制使得Kafka成为一个可靠的分布式消息系统。

本章节主要介绍如何删除资源池。 操作场景 该任务指导用户通过MRS删除已有资源池。 前提条件 集群中任何一个队列不能使用待删除资源池为默认资源池，删除资源池前需要先取消默认资源池，请参见配置队列。 集群中任何一个队列不能在待删除资源池中配置过资源分布策略，删除资源池前需要先清除策略，请参见清除队列配置。 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考使用说明。 2.单击“资源池”页签。 3.在资源池列表指定资源池所在行的“操作”列，单击“删除”。 在弹出窗口中单击“确定”。

表名，表分区个数。 Hive HQL的Map数 Hive周期内执行的HQL与执行过程中调用的Map数统计，展示的信息包括：用户、HQL语句、Map数目。 Hive HQL访问次数 周期内HQL访问次数统计信息。 Kafka Kafka磁盘使用率分布 Kafka集群的磁盘使用率分布统计。 Spark2x HQL访问次数 周期内HQL访问次数统计信息，展示信息包括用户名，HQL语句，执行该语句的次数。 Yarn 资源使用（按任务） l 任务使用的CPU核数和内存。 l 可选择“按内存”或“按CPU”观察。 Yarn 资源使用（按租户） l 租户所使用的CPU核数和内存。 l 可选择“按内存”或“按CPU”观察。 Yarn 资源使用比例（按租户） l 租户所使用的CPU核数和内存的比例。 l 可选择“按内存”或“按CPU”观察。 Yarn 任务耗时排序 对Yarn任务耗时进行排序显示。 Yarn ResourceManager RPC连接数（按用户） 统计连接到RM的Client RPC请求中，各个用户的连接数。 Yarn 操作数 统计Yarn每种操作类型对应的操作数及占比。 Yarn 队列中任务资源使用排序 l 在界面上选择某个队列（租户）后，显示在该队列中正在运行任务的消耗资源排序。 l 可选择“按内存”或“按CPU”观察。 Yarn 队列中用户资源使用排序 l 在界面上选择某个队列（租户）后，显示在该队列中正在运行任务的用户消耗的资源排序。 l 可选择“按内存”或“按CPU”观察。 ZooKeeper 资源使用（按二级Znode） l ZooKeeper服务二级znode资源状况。 l 可选择“按Znode数量”或“按容量”观察 ZooKeeper 连接数（按客户端IP） ZooKeeper客户端连接资源状况。

在业务场景允许的情况下，优先选择无序消息，或者在业务能变通的情况下，将有序消息转化为无序消息。 无序消息的优点： 生产者可以使用多进程、多线程往同一个Topic发送消息，性能更好。 消费者可以使用多进程、多线程同时消费，性能较好。 可以充分使用集群的Failover特点，无须依赖自动主备切换（切换过程服务会中断），包括： 当集群中某一Broker节点故障时，不影响业务消息生产，消息将failover发送到其它节点； 当集群中某一Broker节点故障时，不影响其它节点数据消费，故障恢复后即可消费。 能动态地扩容。 有序消息的缺点： 对于有序消息，当节点故障时，Queue数不会变化，生产与消费都会出现异常，直到故障节点恢复。 对于有序消息，需要将所有消息消费完，并且停止客户端，才能扩容。

序号 页签/按键 页签/按键名称 描述 1 数据库 显示已有的数据库及其下所有的表。 单击数据库名，将显示该数据库中的表。 单击表名，将在表名下显示该表中的元数据，最多可显示20个元数据。 双击表名，将在作业编辑窗口自动输入SQL查询语句。 2 队列 显示已有的队列。 3 模板 内置的SQL样例模板，目前包含22条标准的TPCH查询语句。 4 创建 包括创建队列、数据库和表。 具体操作请分别参考《 5 刷新 包括刷新已有的队列、数据库和表列表。 6 搜索 可输入关键字查找对应的数据库和表。

本页介绍天翼云TeleDB数据库如何查询站内消息。 在消息中心模块，提供了站内消息和消息订阅的功能。站内消息包括服务订阅、系统消息、产品消息和告警消息四大类消息。 消息查询：在消息查询中可以通过消息类型的精确匹配和消息标题或消息内容的模糊匹配对消息进行过滤查询。 消息详情：单击消息标题可以查看具体消息的详情，在查看具体消息详情之后，会将推送的消息置灰。 除此之外，还能够站内消息进行删除和批量删除以及全部删除操作。当您在消息列表上方单击全部标为已读按钮时，所有消息都将置灰。

本文主要介绍了消息接收人设置的操作流程。 消息接收人默认为账号联系人，不可编辑、删除。在账号联系人之外，用户可以添加或删除消息接收人，也可对消息接收人信息进行修改。 操作步骤 1、登录消息中心。 2、点击消息中心左侧导航，选择“消息接收人设置”。 3、消息接收人设置 新增消息接收人 （1）点击“新增消息接收人”，根据页面提示填写接收人姓名、手机号、邮箱并提交。 （2）点击邮箱及手机号右侧提示完成验证。 说明 需要邮箱及手机号均完成验证，新增的消息接收人才能在“消息管理”中完成添加。 修改消息接收人信息 （1）选择需要修改的消息接收人，点击“编辑”，然后根据需求，可修改接收人姓名、手机号、邮箱，然后提交。 （2）点击邮箱及手机号右侧提示完成验证。 说明 只修改姓名无需重新验证，若替换了新的邮箱/手机，则需要验证才能接收消息。 删除消息接收人 选择需要删除的消息接收人，点击“删除”，再次确认即可完成删除。

本文为您介绍分布式消息服务MQTT的概念。 分布式消息服务MQTT是面向移动互联网以及物联网领域的轻量级消息中间件，扩展支持MQTT、MQTTSN、CoAP、LwM2M或私有TCP协议等主流通信协议。可以在有限的资源条件下，为连接远程设备提供实时可靠的消息服务并支持数据高效分类存储、再处理，实现终端设备与云端应用互通。 产品示意图 分布式消息服务MQTT的通信是通过基于主题（Topic）的发布/订阅方式来实现的，Broker用来进行消息的存储和转发，发布方和订阅方通过中间方Broker而无直接连接来进行解耦。一次典型的 MQTT 消息通信流程如下所示： 1. 发布方（Publisher）连接到Broker； 2. 订阅方（Subscriber）连接到Broker，并订阅主题Topic1； 3. 发布方（Publisher）发送给Broker一条消息，主题为Topic1； 4. Broker收到了发布方的消息，发现订阅方（Subscriber）订阅了Topic1，然后将消息转发给订阅方（Subscriber）； 5. 订阅方从Broker接收该消息。 MQTT通过订阅与发布模型对消息的发布方和订阅方进行解耦后，发布方在发布消息时并不需要订阅方也连接到Broker，只要订阅方之前订阅过相应主题，那么它在连接到Broker之后就可以收到发布方在它离线期间发布的消息。我们可以称这种消息为离线消息。 核心概念 MQTT是一种轻量级的通信协议，广泛用于物联网（IoT）等领域，具有高效、可靠、低开销的特点。以下是MQTT核心概念总结： Broker（服务器） ： MQTT协议中的服务端，负责管理连接、接收和转发消息，处理订阅和取消订阅请求。它充当中间人，将消息从发布者传递给订阅者。 Client（客户端）： 使用MQTT协议的程序或设备，可以是传感器、嵌入式设备、服务器等。客户端与Broker建立连接，发送和接收数据，订阅或取消订阅主题。 Message（消息）： MQTT协议中传输的数据单元，通常包含消息内容以及与之相关的主题名称和服务质量等信息。 Topic（主题）： 主题用于标识消息的分类或关联。在发布消息时，消息与主题相关联，告诉Broker消息应该发送到哪个主题。在订阅消息时，客户端指定感兴趣的主题，Broker会将匹配的消息发送给订阅者。 Publish（发布）： 客户端向Broker发送消息的过程。发布消息时需要指定主题和服务质量（QoS），Broker将消息转发给订阅了相同主题的其他客户端。 Subscribe（订阅）： 客户端订阅特定主题的过程。客户端告诉Broker它对哪个主题感兴趣，一旦有消息发送到该主题，Broker会将消息传递给订阅者。取消订阅过程称为Unsubscribe。 QoS（服务质量）： 用于控制消息可靠性传递的参数。 MQTT协议的灵活性和可定制性使其成为许多IoT应用的理想选择，能够适应不同的通信需求和资源限制。

本文介绍Kafka消费端从服务端拉取不到消息或拉取消息缓慢原因及解决方案 问题现象 Topic中有消息并且Consumer未消费到最新的位置，出现消费端从服务端拉取不到消息或拉取消息缓慢的情况（特别是公网消费时）。 可能原因 消费流量达到网络带宽。 单个消息大小超过网络带宽。 Consumer每次拉取的消息量超过网络带宽。 说明 Consumer每次消息的拉取量受以下参数影响： max.poll.records：每次拉取的最多消息数。 fetch.max.bytes：每次拉取的最大总byte数。 max.partition.fetch.bytes：每个Partition每次拉取的最大总byte数。 解决方案 （1）登录分布式消息服务Kafka控制台查询消息。 如果能查询到消息，请继续尝试以下步骤。 （2）在实例详情页面，单击左侧导航栏的监控信息，查看消费流量是否已达到网络带宽。 如果消费流量已经达到网络带宽，您需要扩充网络带宽。 （3）检查Topic中是否存在单个消息的大小超过网络带宽。 如果存在单个消息的大小超过网络带宽，请提高网络带宽，或者减小单个消息的大小。 （4）检查Consumer每次拉取的消息量是否超过网络带宽。 说明 如果每次拉取的消息量超过网络带宽，您需要调整以下参数。 网络带宽>fetch.max.bytes 网络带宽>max.partition.fetch.bytes总订阅Partition数

本节介绍如何创建MindIE NPU单机PD分离任务。 本示例基于 MindIE 推理框架，选用 deepseekr1distillqwen1.5b 模型进行单机 PD（Prefill/Decode）分离部署。部署形态为 2P × 2D 架构，其中 Prefill 阶段使用 2 个实例，每个实例占用 1 张 NPU 卡；Decode 阶段使用 2 个实例，每个实例占用 1 张 NPU 卡。因此，本任务共需 4 张 NPU 卡，实现 Prefill 与 Decode 解耦，以提升首 Token 时延与整体吞吐性能。 前置条件 1. 确认智算套件已经安装并且全部运行中。 2. 进入智算套件，AI应用管理，队列管理，确保队列存在并且有足够的资源(NPU,CPU,内存) [参考创建队列的文档]。 操作步骤 创建应用 进入智算套件，AI应用列表，在线推理菜单，创建AI应用。 基本信息 应用类型：MindIE 开启PD分离选择 静态PD分离 配置信息 推理类型选择单机，推理框架，框架版本，推理模型，模型版本根据实际情况选择。简单的示例： 推理框架： ascendmindie 框架版本：2.2.RC1800IA2py311openeuler24.03lts 推理模型：deepseekr1distillqwen1.5b 模型版本：v1 队列：选择存在且资源足够的的队列

本节介绍如何创建MindIE NPU单机PD分离任务。 本示例基于 MindIE 推理框架，选用 deepseekr1distillqwen1.5b 模型进行单机 PD（Prefill/Decode）分离部署。部署形态为 2P × 2D 架构，其中 Prefill 阶段使用 2 个实例，每个实例占用 1 张 NPU 卡；Decode 阶段使用 2 个实例，每个实例占用 1 张 NPU 卡。因此，本任务共需 4 张 NPU 卡，实现 Prefill 与 Decode 解耦，以提升首 Token 时延与整体吞吐性能。 前置条件 1. 确认智算套件已经安装并且全部运行中。 2. 进入智算套件，AI应用管理，队列管理，确保队列存在并且有足够的资源(NPU,CPU,内存) [参考创建队列的文档]。 操作步骤 创建应用 进入智算套件，AI应用列表，在线推理菜单，创建AI应用。 基本信息 应用类型：MindIE 开启PD分离选择 静态PD分离 配置信息 推理类型选择单机，推理框架，框架版本，推理模型，模型版本根据实际情况选择。简单的示例： 推理框架： ascendmindie 框架版本：2.2.RC1800IA2py311openeuler24.03lts 推理模型：deepseekr1distillqwen1.5b 模型版本：v1 队列：选择存在且资源足够的的队列

本节介绍如何创建vLLM NPU单机PD分离任务。 前置条件 1. 确认智算套件已经安装并且全部运行中。 2. 进入智算套件，AI应用管理，队列管理，确保队列存在并且有足够的资源(NPU,CPU,内存) [参考创建队列的文档]。 操作步骤 创建任务 进入智算套件，AI应用列表，在线推理菜单，创建AI应用。 基本信息 应用类型：vLLM 开启PD分离选择 静态PD分离 配置信息 推理类型选择单机，推理框架、框架版本、推理模型、模型版本根据实际情况选择。简单的示例： 推理框架：ascendvllm 框架版本：v0.11.0rc2 推理模型：deepseekr1distillqwen1.5b 模型版本：v1 队列：选择存在且资源足够的的队列 Prefill CPU，内存，共享内存不填，NPU填：4。 Decode CPU，内存，共享内存不填，NPU填：4。 点击确认完成创建。

Action 说明 dli:queue:submitjob DLI队列的提交操作 dli:queue: DLI队列的全部操作 dli:: DLI所有资源类型的所有操作

本节介绍Kafka 判断和处理消息堆积 判断消息堆积是否属于正常情况 登录“分布式消息服务Kafka”控制台，在“消费组管理”页面，找到目标消费组，进入“消息堆积”页面。 （1）堆积量保持在一个稳定的数值之间波动，没有持续扩大。说明客户端一直在拉取最新消息，没有消息堆积，属于正常情况。 （2）堆积量逐步扩大，并且当前位点一直不变。客户端的消费线程因为某些原因卡住，没有继续消费，也没有继续向服务端提交位点，属于异常情况，即消息的确堆积了。 （3）堆积量逐步扩大，同时当前位点在前进。说明客户端还在消费中，但是消息的消费速度慢于消息的发送速度。消息堆积大多是消费速度过慢或者消费线程阻塞造成的，建议不要在消费逻辑中有太多耗时的操作。 消息堆积的处理方式 经过上述判断，确认消息的确存在堆积情况时，建议打印消息的消费耗时，或者根据堆栈信息查看线程执行情况，适当调整以加快消息的消费速度，避免出现消息堆积。

参数 说明 direct 定义是否使用direct IO，可选值如下： 值为0，表示使用buffered IO 值为1，表示使用direct IO iodepth 定义测试时的IO队列深度。此处定义的队列深度是指每个线程的队列深度，如果有多个线程测试，意味着每个线程都是此处定义的队列深度。fio总的IO并发数iodepth numjobs。 例如： 单线程，且iodepth32，则该线程的IO队列深度为32，fio总的IO并发数32132。 多线程（3个线程），且iodepth32，则3个线程的IO队列深度均为32，fio总的IO并发数32396。 rw 定义测试时的读写策略，可选值如下： 随机读：randread 随机写：randwrite 顺序读：read 顺序写：write 混合随机读写：randrw ioengine 定义fio如何下发IO请求，通常有同步IO和异步IO： 同步IO一次只能发出一个IO请求，等待内核完成后才返回。这样对于单个线程IO队列深度总是小于1，但是可以透过多个线程并发执行来解决。通常会用16~32个线程同时工作把IO队列深度塞满。 异步IO则通常使用libaio这样的方式一次提交一批IO请求，然后等待一批的完成，减少交互的次数，会更有效率。 bs 定义IO的块大小(block size)，单位是k、K、m和M等，默认IO块大小为4 KB。 size 定义测试IO操作的数据量，若未指定runtime这类参数，fio会将指定大小的数据量全部读/写完成，然后才停止测试。该参数的值，可以是带单位的数字，比如size10G，表示读/写的数据量为10GiB；也可是百分数，比如size20%，表示读/写的数据量占该设备总文件的20%的空间。 numjobs 定义测试的并发线程数。 runtime 定义测试时间。如果未配置，则持续将size指定的文件大小，以每次bs值为分块大小读/写完。 groupreporting 定义测试结果显示模式，groupreporting表示汇总每个进程的统计信息，而非以不同job汇总展示信息。 filename 定义测试文件（设备）的名称。 此处选择文件，则代表测试文件系统的性能。例如： filename/opt/fiotest/fiotest.txt l 此处选择设备名称，则代表测试裸盘的性能。例： filename/dev/vdb 须知 如果在已经分区、并创建文件系统，且已写入数据的磁盘上进行性能测试，请注意filename选择指定文件，以避免覆盖文件系统和原有数据。 name 定义测试任务名称。

Flink作业权限使用说明 查看作业详情 租户以及admin用户可以查看和操作所有作业。 子用户以及拥有只读权限的用户只能查看自己的作业。 说明 他人赋权给该子用户查看权限外的任意权限，则该作业仅显示在作业列表中，但不支持该子用户查看作业详情。 启动作业 使用独享队列时，用户需要同时拥有队列的提交作业权限以及作业的启动作业权限。 使用共享队列时，用户只需要拥有作业的启动作业权限。 停止作业 使用独享队列时，用户需要同时拥有队列的停止作业权限以及作业的停止作业权限。 使用共享队列时，用户只需要拥有作业的停止作业权限。 删除作业 如果作业在可删除状态，则用户拥有作业的删除权限即可。 如果作业在不可删除状态，用户删除作业时，系统会先停止作业，停止作业权限说明可以参考Flink作业管理概述章节中的“停止作业”，并且用户还需要拥有作业的删除权限。 创建作业 子用户默认不能创建作业。 创建作业时，用户需要拥有创建作业的权限。目前只有admin用户创建作业的权限，同时用户还需要拥有该作业使用的相关程序包组权限或者程序包权限。 编辑作业 编辑作业时，用户需要拥有更新作业的权限，同时用户还需要拥有该作业使用的相关程序包所属组权限或者程序包权限。

说明 分布式消息服务Kafka如下资源池支持Kafka2.8、3.6版本引擎，提供集群和单机两种规格实例，支持X86和ARM计算CPU架构类型的计算增强型主机，可选350代理数量。 目前在 华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3 资源池开放订购。 上述资源池订购和续订可享受1年83折，2年7折，3年5折优惠。 价格计算公式 分布式消息服务Kafka费用由实例费用和存储费用两部分组成，两者单价如下表所示，计费公式为： 实例费用实例规格单价 代理数量，单机版代理数量为1。 存储费用存储类型单价 代理数量 单节点存储空间GB大小，单机版代理数量为1。 实例规格单价 Intel计算增强型 规格名称 实例单价（单个节点） 规格名称 按需标准价格(元/小时) 包月标准价格(元/月) Kafka.2u4g.cluster 0.98 441 Kafka.4u8g.cluster 2.24 1008 Kafka.8u16g.cluster 4.86 2187 Kafka.12u24g.cluster 7.38 3321 Kafka.16u32g.cluster 9 4050 Kafka.24u48g.cluster 15.12 6804 Kafka.32u64g.cluster 20.16 9072 Kafka.48u96g.cluster 30.24 13608 Kafka.64u128g.cluster 40.32 18144

本章节主要介绍翼MapReduce的删除资源池操作。 操作场景 根据业务需要，资源池不再使用时，管理员可以通过FusionInsight Manager进行删除资源池。 前提条件 集群中任何一个队列不能使用待删除资源池为默认资源池，删除资源池前需要先取消默认资源池，请参见配置队列。 集群中任何一个队列不能在待删除资源池中配置过资源分布策略，删除资源池前需要先清除策略，请参见清除队列容量配置。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“租户资源 > 资源池”。 3. 在资源池列表指定资源池所在行的“操作”列，单击“删除”。 4. 在弹出窗口中单击“确定”。

参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用，您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 cardetail 导入前清空数据 选择导入前是否清空目的表的数据。 如果设置为是，任务启动前会清除目标表中数据。 否 清空数据方式 导入前清空数据，如果设置为true时，呈现此参数。 TRUNCATE：删除标准数据。 INSERTOVERWRITE：新增数据插入，同主键数据覆盖。 TRUNCATE 分区 “导入前清空数据”设置为“是”时，呈现此参数。 填写分区信息后，表示清空该分区的数据。 year2020,locationsun

指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 topic (topic，kafka的topic监控数据。) id id clientid和ip信息 ENUM LAST topic (topic，kafka的topic监控数据。) topic topic kafka的topic名称 ENUM LAST topic (topic，kafka的topic监控数据。) byteRate 每秒发送字节 每秒发送字节 Byte INT AVG topic (topic，kafka的topic监控数据。) recordErrorRate 每秒错误数 每秒错误数 INT AVG topic (topic，kafka的topic监控数据。) recordRetryRate 每秒重试数 每秒重试数 INT AVG topic (topic，kafka的topic监控数据。) recordSendRate 每秒发送数 每秒发送数 INT AVG topic (topic，kafka的topic监控数据。) seqIds Producer生成序列号 Producer生成序列号 STRING LAST topic (topic，kafka的topic监控数据。) recordSendTotal 总发送次数 总发送次数 INT SUM topic (topic，kafka的topic监控数据。) byteTotal 总发送字节数 总发送字节数 INT SUM KafkaProducer汇总（total，KafkaProducer汇总信息统计。） recordSendTotal 总发送次数 总发送次数 INT SUM KafkaProducer汇总（total，KafkaProducer汇总信息统计。） byteTotal 总发送字节数 总发送字节数 INT SUM 异常 (exception，kafka发送异常信息。) causeType 异常发生类 异常发生类 ENUM LAST 异常 (exception，kafka发送异常信息。) exceptionType 异常类 异常类 ENUM LAST 异常 (exception，kafka发送异常信息。) count 数量 异常数量 INT SUM 异常 (exception，kafka发送异常信息。) message 异常消息 异常消息 STRING LAST 异常 (exception，kafka发送异常信息。) stackTrace 异常堆栈 异常堆栈 CLOB LAST 发送方法（doSendMethod，发送消息方法监控。） topic topic topic ENUM LAST 发送方法（doSendMethod，发送消息方法监控。） concurrentMax 最大并发 最大并发 INT MAX 发送方法（doSendMethod，发送消息方法监控。） errorCount 错误数 错误数 INT SUM 发送方法（doSendMethod，发送消息方法监控。） invokeCount 调用次数 调用次数 INT SUM 发送方法（doSendMethod，发送消息方法监控。） maxTime 最慢时延 最慢时延 INT MAX 发送方法（doSendMethod，发送消息方法监控。） range1 0–10ms 时延在010ms范围调用次数 INT SUM 发送方法（doSendMethod，发送消息方法监控。） range2 10–100ms 时延在10–100ms范围调用次数 INT SUM 发送方法（doSendMethod，发送消息方法监控。） range3 100–500ms 时延在100–500ms范围调用次数 INT SUM 发送方法（doSendMethod，发送消息方法监控。） range4 500–1000ms 时延在500–1000ms范围调用次数 INT SUM 发送方法（doSendMethod，发送消息方法监控。） range5 1–10s 时延在1–10s范围调用次数 INT SUM 发送方法（doSendMethod，发送消息方法监控。） range6 10sn 时延在10s以上调用次数 INT SUM 发送方法（doSendMethod，发送消息方法监控。） totalTime 总时延 调用总耗时 INT SUM

修改后端服务的超时时间上限“backendtimeout”后未生效 问题描述 修改专享版APIG实例参数“backendtimeout”后未生效。 可能原因 在“定义后端服务”中，“后端超时(ms)”未修改。 解决方法 登录控制台，在“API管理”中，进入目标API详情，单击“编辑”，在“定义后端服务”中配置“后端超时(ms)”。 如何切换调用环境？ 默认调用“发布”环境的API。如果您要调用其他环境的API，请添加请求消息头XStage，参数值填写环境名称。 调用请求包最大支持多少？ 专享版：API每次最大可以转发Body体为12MB的请求包。请求body体超过12M时，根据业务需求，请在“实例概览”的配置参数中修改“requestbodysize”参数。“requestbodysize”表示API请求中允许携带的Body大小上限，支持修改范围1~9536 M。 使用iOS系统时，如何进行APP认证？ 目前API网关为APP认证提供了Java、Python、C、PHP、Go等多种语言的SDK与demo，当您使用iOS系统（ObjectiveC语言）或者其他未包含在内的语言时，请参考“开发指南 > 使用APP认证调用API > APP认证工作原理”的指导进行APP认证。 最多支持创建多少个APP？ 每个用户最多创建50个APP。 APP认证的API，怎样实现不同的第三方之间无法知道对方调用情况？ 创建多个APP，并绑定同一个API，分发给不同的第三方不一样的APP。 APP认证的API，有没有限制可以给多少个第三方使用？ 没有限制。 APP认证的API，是否需要自己创建APP？ 是，需要自行创建APP，并绑定API。创建完成APP后，系统自动生成AppKey和AppSecret，将AppKey和AppSecret给第三方，就可以直接调用此API了。

运行结果 上面的示例代码中，消费者线程会循环调用 poll()方法来拉取消息，并对拉取到的消息进行处理。在处理消息时，示例代码只是简单地打印了消息的值。 因此，示例代码的响应结果将是每个消费者线程在拉取到消息时打印出消息的值。具体的响应结果将取决于你所消费的Kafka主题中的消息内容。 例如，假设你的Kafka主题中有以下两条消息： 1. Key: null, Value: "Hello, Kafka!" 2. Key: null, Value: "How are you?" 当消费者线程拉取到这两条消息时，它们将会打印如下的响应结果： Received message: Hello, Kafka! Received message: How are you? 请注意，示例代码中的打印语句只是简单地将消息值输出到控制台。在实际应用中，你可以根据需要对消息进行进一步的处理，比如将消息存储到数据库、执行业务逻辑等操作。

本章节介绍如何新建FlinkJar作业。 用户可以基于Flink的API进行二次开发，构建自己的应用Jar包并提交到DLI的队列运行，DLI完全兼容开源社区接口。此功能需要用户自己编写并构建应用Jar包，适合对Flink二次开发有一定了解，并对流计算处理复杂度要求较高的用户。 前提条件 确保已创建独享队列。创建DLI独享队列，在购买队列时，勾选“专属资源模式”即可。 创建Flink Jar作业，访问其他外部数据源时，如访问OpenTSDB、HBase、Kafka、DWS、RDS、CSS、CloudTable、DCS Redis、DDS Mongo等，需要先创建跨源连接，打通作业运行队列到外部数据源之间的网络。 当前Flink作业支持访问的外部数据源详情请参考跨源连接和跨源分析概述。 创建跨源连接操作请参见增强型跨源连接。 创建完跨源连接后，可以通过“队列管理”页面，单击“操作”列“更多”中的“测试地址连通性”，验证队列到外部数据源之间的网络连通是否正常。详细操作可以参考 测试地址连通性。 用户运行Flink Jar作业时，需要将二次开发的应用代码构建为Jar包，上传到已经创建的OBS桶中。并在DLI“数据管理”>“程序包管理”页面创建程序包，具体请参考 创建程序包。 说明 DLI不支持下载功能，如果需要更新已上传的数据文件，可以将本地文件更新后重新上传。 由于DLI服务端已经内置了Flink的依赖包，并且基于开源社区版本做了安全加固。为了避免依赖包兼容性问题或日志输出及转储问题，打包时请注意排除以下文件： a.系统内置的依赖包，或者在Maven或者Sbt构建工具中将scope设为provided b.日志配置文件（例如：“log4j.properties”或者“logback.xml”等） c.日志输出实现类JAR包（例如：log4j等）

本节介绍如何开启Kafka的Smart Connect功能。 Smart Connect用于Kafka实例和其他云服务（如OBS）之间的数据同步，或者两个Kafka实例之间的数据同步，实现数据的备份或迁移。 Smart Connect的使用流程为： 1. 开启Smart Connect。 2. 创建Smart Connect任务。 本章节主要介绍如何开启Smart Connect。 约束与限制 开启Smart Connect后，实例需要另外收取用于Smart Connect的代理费用。 例如：规格为kafka.4u8g.cluster的实例，会另外创建至少两个规格为kafka.4u8g的代理，用于Smart Connect，所以需要收取相应代理费用。 前提条件 已创建Kafka实例，且实例状态为“运行中”。 “auto.create.groups.enable”已设置为“true”。如果需要修改“auto.create.groups.enable”的取值，请参考修改Kafka实例配置参数。 开启Smart Connect 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、通过以下任意一种方法，开启Smart Connect。 在待开启Smart Connect的Kafka实例所在行，单击“更多 > 开启Smart Connect”。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 开启Smart Connect”。 单击Kafka实例名称，进入实例详情页面。在“Smart Connect”后，单击。 单击Kafka实例名称，进入实例详情页面。在左侧导航栏单击“Smart Connect”，进入Smart Connect页面。单击“开启Smart Connect”。 5、单击，将Smart Connect设置为开启，并设置用于Smart Connect的代理数量，代理数取值范围为2~16个，单击“下一步”。 说明 代理数默认为2个，如果您预估2个Kafka实例间的同步流量比较大，例如大于50MB/s，请设置2个以上的代理数。 6、确认“Smart Connect”为开启状态，单击“提交”。 结束

操作 具体动作 说明 创建租户 添加租户 添加子租户 添加用户并绑定租户的角色 创建租户时，便可根据业务需求，为租户配置计算资源、存储资源和关联服务；为租户添加用户，并为用户绑定需要的角色。 创建一级租户的用户，需要绑定“Manageradministrator”或“Systemadministrator”角色。创建子租户的用户，至少需要绑定父租户对应的角色。 管理租户 管理租户目录 恢复租户数据 清除租户非关联队列 删除租户 管理租户是随着业务变化对租户进行的编辑操作。 管理或删除一级租户的用户，以及恢复租户数据的用户，需要绑定“Manageradministrator”或“Systemadministrator”角色。 管理或删除子租户的用户，至少需要绑定父租户对应的角色。 管理资源 添加资源池 修改资源池 删除资源池 配置队列 配置资源池的队列容量策略 清除队列配置 管理资源是随着业务变化对租户再次配置资源的操作。 管理资源的用户，需要绑定“Manageradministrator”或“Systemadministrator”角色。

介绍分布式消息服务Kafka计费模式互转的功能操作内容。 场景描述 Kafka的按需转包周期的场景描述如下： 在使用Kafka时，可能会遇到需要设置按需转包周期的场景，例如： 消息积压处理：当Kafka中的消息积压较多时，可能会导致消息的消费速度跟不K上消息的生产速度，进而影响系统的性能和稳定性。为了解决这个问题，可以设置按需转包周期，即将一定数量的消息打包成一个批次进行消费，以提高消费的效率和吞吐量。 业务流量波动：在某些业务场景下，业务流量可能会出现波动，即某个时间段内的消息产生速度较快，而另一个时间段内的消息产生速度较慢。为了更好地适应业务流量的波动，可以设置按需转包周期，以根据实际的消息产生情况进行灵活的批量消费。 系统资源优化：当Kafka的消费者资源有限时，可以通过设置按需转包周期来优化系统的资源利用。通过将一定数量的消息打包成一个批次进行消费，可以减少消费者的竞争和上下文切换，提高系统的并发处理能力。 消息处理延迟优化：在某些场景下，对消息的实时性要求较低，可以通过设置按需转包周期来优化消息的处理延迟。将一定数量的消息打包成一个批次进行消费，可以减少消息的处理次数，从而降低消息的处理延迟。 需要注意的是，在设置按需转包周期时，应根据实际业务需求和系统情况进行调整。同时，应考虑消息的重要性、消费者的处理能力、系统的资源限制等因素，以确保系统的稳定性和性能。