保证数据安全和访问安全 多租户场景下，分开存放不同租户的数据，以保证数据安全；控制用户对租户资源的访问权限，以保证访问安全。 调度器增强 多租户根据调度器类型分为开源的Capacity调度器和自主研发的增强型Superior调度器。为满足企业需求，克服Yarn社区在调度上遇到的挑战与困难，自主研发的Superior调度器，不仅集合了当前Capacity调度器与Fair调度器的优点，还做了以下增强： 增强资源共享策略 Superior调度器支持队列层级，在同集群集成开源调度器的特性，并基于可配置策略进一步共享资源。针对实例，管理员可通过Superior调度器为队列同时配置绝对值或百分比的资源策略计划。Superior调度器的资源共享策略将YARN的标签调度增强为资源池特性，YARN集群中的节点可根据容量或业务类型不同，进行分组以使队列更有效地利用资源。 基于租户的资源预留策略 部分租户可能在某些时间中运行关键任务，租户所需的资源应保证可用。Superior调度器构建了支持资源预留策略的机制，在这些租户队列运行的任务可立即获取到预留资源，以保证计划的关键任务可正常执行。 租户和资源池的用户公平共享 Superior调度器提供了队列内用户间共享资源的配置能力。每个租户中可能存在不同权重的用户，高权重用户可能需要更多共享资源。

参数名称 描述 用户名 被授权的用户名称。 说明 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 权限设置 更新：当前用户可更新弹性资源池的描述信息。 资源管理：当前用户可在弹性资源池上添加队列、删除队列、操作队列的扩缩容策略配置。 删除：当前用户可删除此弹性资源池。 赋权：当前用户可将弹性资源池的操作权限赋予其他用户。 回收：当前用户可回收其他用户具备的该弹性资源池的权限，但不能回收该弹性资源池所有者的权限。 查看其他用户具备的权限：当前用户可查看其他用户具备的该弹性资源池的权限。

本文为您介绍分布式消息服务MQTT的概念。 分布式消息服务MQTT是面向移动互联网以及物联网领域的轻量级消息中间件，扩展支持MQTT、MQTTSN、CoAP、LwM2M或私有TCP协议等主流通信协议。可以在有限的资源条件下，为连接远程设备提供实时可靠的消息服务并支持数据高效分类存储、再处理，实现终端设备与云端应用互通。 产品示意图 分布式消息服务MQTT的通信是通过基于主题（Topic）的发布/订阅方式来实现的，Broker用来进行消息的存储和转发，发布方和订阅方通过中间方Broker而无直接连接来进行解耦。一次典型的 MQTT 消息通信流程如下所示： 1. 发布方（Publisher）连接到Broker； 2. 订阅方（Subscriber）连接到Broker，并订阅主题Topic1； 3. 发布方（Publisher）发送给Broker一条消息，主题为Topic1； 4. Broker收到了发布方的消息，发现订阅方（Subscriber）订阅了Topic1，然后将消息转发给订阅方（Subscriber）； 5. 订阅方从Broker接收该消息。 MQTT通过订阅与发布模型对消息的发布方和订阅方进行解耦后，发布方在发布消息时并不需要订阅方也连接到Broker，只要订阅方之前订阅过相应主题，那么它在连接到Broker之后就可以收到发布方在它离线期间发布的消息。我们可以称这种消息为离线消息。 核心概念 MQTT是一种轻量级的通信协议，广泛用于物联网（IoT）等领域，具有高效、可靠、低开销的特点。以下是MQTT核心概念总结： Broker（服务器） ： MQTT协议中的服务端，负责管理连接、接收和转发消息，处理订阅和取消订阅请求。它充当中间人，将消息从发布者传递给订阅者。 Client（客户端）： 使用MQTT协议的程序或设备，可以是传感器、嵌入式设备、服务器等。客户端与Broker建立连接，发送和接收数据，订阅或取消订阅主题。 Message（消息）： MQTT协议中传输的数据单元，通常包含消息内容以及与之相关的主题名称和服务质量等信息。 Topic（主题）： 主题用于标识消息的分类或关联。在发布消息时，消息与主题相关联，告诉Broker消息应该发送到哪个主题。在订阅消息时，客户端指定感兴趣的主题，Broker会将匹配的消息发送给订阅者。 Publish（发布）： 客户端向Broker发送消息的过程。发布消息时需要指定主题和服务质量（QoS），Broker将消息转发给订阅了相同主题的其他客户端。 Subscribe（订阅）： 客户端订阅特定主题的过程。客户端告诉Broker它对哪个主题感兴趣，一旦有消息发送到该主题，Broker会将消息传递给订阅者。取消订阅过程称为Unsubscribe。 QoS（服务质量）： 用于控制消息可靠性传递的参数。 MQTT协议的灵活性和可定制性使其成为许多IoT应用的理想选择，能够适应不同的通信需求和资源限制。

版本 描述 1.1.1 1、增加Javaagent关键内置对象指标 2、修复集成Nacos的内存占用问题 1.2.0 1、修复Springboot 2.5.15版本引用的Tomcat 9.0.75出现接口404问题 2、修复Agent运行一段时间后上报数据异常问题3、优化Agent内存占用 1.4.0 1、优化应用配置下发通道 2、修复异常数统计不准问题 3、修复Localhost显示Ipv6地址问题 1.5.0 1、新增Header和URL参数拦截功能 2、新增Netty内存指标展示 3、新增自定义URL状态码功能4 、新增自定义慢请求阈值 5、新增URL采集黑名单 1.5.1 1、新增Java方法拦截功能 2、新增Elasticsearch、Mongodb、Clickhouse等数据库指标展示 3、新增C3P0、DBCP、Druid等数据库连接池指标展示 4、新增Tomcat连接池指标展示 5、新增耗时区间分布统计 6、新增解析特定业务返回码功能 7、新增URL级别慢请求采样率设置功能 1.6.1 1、新增mysql原始sql采集配置项 2、新增jmx指标展示和隐藏动态配置项 3、javaagent兜底采样功能 4、新增xxljob指标展示 1.7.0 1、新增消息队列rocketmq监控指标 2、新增数据库Postgresql监控指标 3、新增慢、异常span自动打标签并支持过滤 4、新增自定义tag搜索能力 5、新增调用链支持散点图、全链路聚合展示 6、新增代码热点图 1.8.0 1、javaagent上报新增项目、环境信息 1.8.2 1、新增应用诊断线程分析功能 2、新增系统负载数，系统CPU使用率、用户CPU使用率、等待IO完成率、系统PageCache内存、BufferCache内存指标 3、新增磁盘总数、磁盘空闲数、磁盘使用数指标 4、新增支持javaagent对上报数据拆包 5、新增支持默认的和用户自定义URL规整规则 1.9.0 1、新增springbean方法采集功能 2、新增全局拓扑功能 3、新增应用健康度功能 4、新增URL最大采集条字符配置 2.0.0 1、支持自动生成项目、分组、环境、应用 2、优化agent日志输出 2.1 1、支持业务联系分析功能 2、修复ApacheTttpClient4.x下游traceId丢失问题 2.2.2 1、支持jdk21

本文主要介绍了消息管理页面的功能和使用。 当前支持的消息接收方式包括：邮箱、短信。用户可以开启或关闭消息接收。 操作步骤 1、登录消息中心。 2、点击消息中心左侧导航，选择“消息管理“ 3、配置消息接收方式。 勾选邮箱、短信，可以选择该类消息的接收方式。 点击修改，可以选择该类消息的接收人。 勾选多个消息类型，可进行批量添加或删除消息接收人。

本文介绍Kafka消费端从服务端拉取不到消息或拉取消息缓慢原因及解决方案 问题现象 Topic中有消息并且Consumer未消费到最新的位置，出现消费端从服务端拉取不到消息或拉取消息缓慢的情况（特别是公网消费时）。 可能原因 消费流量达到网络带宽。 单个消息大小超过网络带宽。 Consumer每次拉取的消息量超过网络带宽。 说明 Consumer每次消息的拉取量受以下参数影响： max.poll.records：每次拉取的最多消息数。 fetch.max.bytes：每次拉取的最大总byte数。 max.partition.fetch.bytes：每个Partition每次拉取的最大总byte数。 解决方案 （1）登录分布式消息服务Kafka控制台查询消息。 如果能查询到消息，请继续尝试以下步骤。 （2）在实例详情页面，单击左侧导航栏的监控信息，查看消费流量是否已达到网络带宽。 如果消费流量已经达到网络带宽，您需要扩充网络带宽。 （3）检查Topic中是否存在单个消息的大小超过网络带宽。 如果存在单个消息的大小超过网络带宽，请提高网络带宽，或者减小单个消息的大小。 （4）检查Consumer每次拉取的消息量是否超过网络带宽。 说明 如果每次拉取的消息量超过网络带宽，您需要调整以下参数。 网络带宽>fetch.max.bytes 网络带宽>max.partition.fetch.bytes总订阅Partition数

指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 topic (topic，kafka的topic监控数据。) id id clientid和ip信息 ENUM LAST topic (topic，kafka的topic监控数据。) topic topic kafka的topic名称 ENUM LAST topic (topic，kafka的topic监控数据。) byteRate 每秒发送字节 每秒发送字节 Byte INT AVG topic (topic，kafka的topic监控数据。) recordErrorRate 每秒错误数 每秒错误数 INT AVG topic (topic，kafka的topic监控数据。) recordRetryRate 每秒重试数 每秒重试数 INT AVG topic (topic，kafka的topic监控数据。) recordSendRate 每秒发送数 每秒发送数 INT AVG topic (topic，kafka的topic监控数据。) seqIds Producer生成序列号 Producer生成序列号 STRING LAST topic (topic，kafka的topic监控数据。) recordSendTotal 总发送次数 总发送次数 INT SUM topic (topic，kafka的topic监控数据。) byteTotal 总发送字节数 总发送字节数 INT SUM KafkaProducer汇总（total，KafkaProducer汇总信息统计。） recordSendTotal 总发送次数 总发送次数 INT SUM KafkaProducer汇总（total，KafkaProducer汇总信息统计。） byteTotal 总发送字节数 总发送字节数 INT SUM 异常 (exception，kafka发送异常信息。) causeType 异常发生类 异常发生类 ENUM LAST 异常 (exception，kafka发送异常信息。) exceptionType 异常类 异常类 ENUM LAST 异常 (exception，kafka发送异常信息。) count 数量 异常数量 INT SUM 异常 (exception，kafka发送异常信息。) message 异常消息 异常消息 STRING LAST 异常 (exception，kafka发送异常信息。) stackTrace 异常堆栈 异常堆栈 CLOB LAST 发送方法（doSendMethod，发送消息方法监控。） topic topic topic ENUM LAST 发送方法（doSendMethod，发送消息方法监控。） concurrentMax 最大并发 最大并发 INT MAX 发送方法（doSendMethod，发送消息方法监控。） errorCount 错误数 错误数 INT SUM 发送方法（doSendMethod，发送消息方法监控。） invokeCount 调用次数 调用次数 INT SUM 发送方法（doSendMethod，发送消息方法监控。） maxTime 最慢时延 最慢时延 INT MAX 发送方法（doSendMethod，发送消息方法监控。） range1 0–10ms 时延在010ms范围调用次数 INT SUM 发送方法（doSendMethod，发送消息方法监控。） range2 10–100ms 时延在10–100ms范围调用次数 INT SUM 发送方法（doSendMethod，发送消息方法监控。） range3 100–500ms 时延在100–500ms范围调用次数 INT SUM 发送方法（doSendMethod，发送消息方法监控。） range4 500–1000ms 时延在500–1000ms范围调用次数 INT SUM 发送方法（doSendMethod，发送消息方法监控。） range5 1–10s 时延在1–10s范围调用次数 INT SUM 发送方法（doSendMethod，发送消息方法监控。） range6 10sn 时延在10s以上调用次数 INT SUM 发送方法（doSendMethod，发送消息方法监控。） totalTime 总时延 调用总耗时 INT SUM

本章节介绍了有关分布式消息服务RocketMQ实例消息类的常见问题及解答。 是否支持消费验证？ 分布式消息服务RocketMQ当前不支持消费验证功能。 RocketMQ的消息保留时间是多少？可以修改吗？ RocketMQ的消息保留时间是48小时，且不支持修改。 RocketMQ支持的最大消息大小是多少？可以修改吗？ RocketMQ支持的最大消息大小是4M，且不支持修改。 RocketMQ副本存储形式是怎样的？可以修改吗？ RocketMQ消息是一主两从3个副本的存储形式，且不支持修改。 消息创建时间在哪设置 ？ 消息创建时间是由生产客户端在生产消息时设置的。

本节介绍Kafka 判断和处理消息堆积 判断消息堆积是否属于正常情况 登录“分布式消息服务Kafka”控制台，在“消费组管理”页面，找到目标消费组，进入“消息堆积”页面。 （1）堆积量保持在一个稳定的数值之间波动，没有持续扩大。说明客户端一直在拉取最新消息，没有消息堆积，属于正常情况。 （2）堆积量逐步扩大，并且当前位点一直不变。客户端的消费线程因为某些原因卡住，没有继续消费，也没有继续向服务端提交位点，属于异常情况，即消息的确堆积了。 （3）堆积量逐步扩大，同时当前位点在前进。说明客户端还在消费中，但是消息的消费速度慢于消息的发送速度。消息堆积大多是消费速度过慢或者消费线程阻塞造成的，建议不要在消费逻辑中有太多耗时的操作。 消息堆积的处理方式 经过上述判断，确认消息的确存在堆积情况时，建议打印消息的消费耗时，或者根据堆栈信息查看线程执行情况，适当调整以加快消息的消费速度，避免出现消息堆积。

配置资源 配置队列及任务优先级，如果还未创建队列，请参考“创建队列”相关的文档，创建完成之后点击 “创建队列” 旁边的刷新按钮再进行队列选择。 按需配置CPU、内存、GPU、NPU资源。 其他配置 root用户启动：如果关闭了 “工作空间目录配置” 选项可以选择将root用户启动关闭，将使用非root用户启动容器。 模型分析：打开模型分析时，会在创建开发机时自动创建TensorBoard服务，模型分析配置会自动关联前面数据集配置中已选择的私有数据集（仅支持配置私有数据集，公共数据集具有只读权限无法进行文件写入），可以选择不打开模型分析，后续再单独创建。 环境变量按需进行配置。 点击创建。 远程访问 查看开发机列表 等待新建开发机的“访问”按钮可点击后，访问提示信息中的链接，先选择资源池信息，然后配置“弹性负载均衡>访问策略组”，修改isuitenotebookacl策略组的配置（默认只放开了127.0.0.1地址），需要增加本地客户端的出口IP配置。 获取本机出口IP的方式可通过百度搜索“ip地址”进行查询。 配置完成后回到“智算套件>AI应用开发”控制台，点击对应开发机的 “访问” 按钮即可访问该开发机，工作空间会显示持久化存储中保存的文件等。

开发机资源配置 配置队列及任务优先级，如果还未创建队列，请参考“创建队列”相关的文档，创建完成之后点击 “创建队列” 旁边的刷新按钮再进行队列选择。 按需配置CPU、内存、GPU、NPU资源。 其他配置 root用户启动：如果关闭了 “工作空间目录配置” 选项可以选择将root用户启动关闭，将使用非root用户启动容器。 模型分析：打开模型分析时，会在创建开发机时自动创建TensorBoard服务，模型分析配置会自动关联前面数据集配置中已选择的私有数据集（仅支持配置私有数据集，公共数据集具有只读权限无法进行文件写入），可以选择不打开模型分析，后续再单独创建。 环境变量按需进行配置。 点击创建。 开发机远程访问 查看开发机列表 等待新建开发机的“访问”按钮可点击后，访问提示信息中的链接，先选择资源池信息，然后配置“弹性负载均衡>访问策略组”，修改isuitenotebookacl策略组的配置（默认只放开了127.0.0.1地址），需要增加本地客户端的出口IP配置。 获取本机出口IP的方式可通过百度搜索“ip地址”进行查询。 配置完成后回到“智算套件>AI应用开发”控制台，点击对应开发机的 “访问” 按钮即可访问该开发机，工作空间会显示持久化存储中保存的文件等。

方案概述 Kafka将Topic划分为多个分区，消息被存储在不同的分区中。在同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积，从而会造成消息消费延迟。 导致消息堆积的常见原因如下： 生产者短时间内生产大量消息到Topic，消费者无法及时消费。 消费者的消费能力不足（消费者并发低、消息处理时间长），导致消费效率低于生产效率。 消费者异常（如消费者故障、消费者网络异常等）导致无法消费消息。 Topic分区设置不合理（leader副本都集中在部分Broker中、分区数太少），或新增分区无消费者消费。 Topic频繁重平衡导致性能下降，消费效率降低。 实施步骤 从消息堆积的原因看，消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 消费者端 根据实际业务需求，合理增加消费者个数（消费并发度），建议消费者数量和分区数保持一致。 提高消费者的消费速度，通过优化消费者处理逻辑（减少复杂计算、第三方接口调用和读库操作），减少消费时间。 增加消费者每次拉取消息的数量：拉取数据/处理时间 > 生产速度。 生产者端 生产消息时，给消息Key加随机后缀，使消息均衡分布到不同分区上。（在实际业务场景中，为消息Key加随机后缀，会导致消息全局不保序，需根据实际业务判断是否适合给消息Key加随机后缀。） 服务端 合理设置Topic的分区数，在不影响业务处理效率的情况下，调大Topic的分区数量。 当服务端出现消息堆积时，对生产者进行熔断，或将生产者的消息转发到其他Topic。

本文介绍科研助手的应用类常见问题。 科研助手适用哪些场景？ HPC：适用于视频渲染、视频转码（视频格式转换、视频分辨率变化、添加水印/logo的）、科研教育等领域。 科学计算：适用于仿真模拟、化学分子计算、流体计算等。 生物分析：适用于基因测序、药物检测等领域。 科研助手的核心功能有哪些？ 多资源池管理： 底层资源池ECK专有资源、Serverless共享容器资源池、ECX虚拟机资源池满足不同价格区间的业务需求。 队列管理： 提供对作业队列管理，支持CPU/GPU作业和队列管理。 开发环境： 以云原生的资源使用和开发工具链的集成，为不同类型开发、探索、教学用户，提供更好云化开发体验。

参数名 描述 集群 显示上级父租户所在集群。 父租户资源 显示上级父租户的名称。 名称 指定当前租户的名称，长度为3~50个字符，可包含数字、字母或下划线（）。 根据业务需求规划子租户的名称，不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。 租户资源类型 指定租户是否是一个叶子租户： 选择“叶子租户资源”：当前租户为叶子租户，不支持添加子租户。 选择“非叶子租户资源”：当前租户为非叶子租户，支持添加子租户，但租户层级不能超过5层。 计算资源 为当前租户选择动态计算资源。 选择“Yarn”时，系统自动在Yarn中以子租户名称创建任务队列。 − 如果是叶子租户，叶子租户可直接提交到任务队列中。 − 如果是非叶子租户，非叶子租户不能直接将任务提交到队列中。 但是，Yarn会额外为非叶子租户增加一个任务队列（隐含），队列默认命名为“default”，用于统计当前租户剩余的资源容量，实际任务不会分配在此队列中运行。 不选择“Yarn”时，系统不会自动创建任务队列。 配置模式 计算资源参数配置模式。 选择“基础”时，只需配置“默认资源池容量 （%）”参数即可。 选择“高级”时，可手动配置资源分配权重，租户的最小/最大/预留资源。 默认资源池容量（%） 配置当前租户使用的计算资源百分比，基数为父租户的资源总量。 权重 资源分配权重，取值范围从0到100。 最小资源 保证租户资源能获得的资源（有抢占支持）。取值可以是父租户资源的百分比或绝对值。当租户资源作业量比较少时，资源会自动借给其他租户资源，当租户资源能使用的资源不满足最小资源时，可以通过抢占来要回之前借出的资源。 最大资源 租户资源最多能使用的资源，租户资源不能得到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。 预留资源 租户资源预留资源。即使租户资源内没有作业，预留的资源也不能给别的租户资源使用。取值可以是父租户资源的百分比或绝对值。 存储资源 为当前租户选择存储资源。 选择“HDFS”时，系统将自动在HDFS父租户目录中，以子租户名称创建文件夹。 不选择“HDFS”时，系统不会分配存储资源。 文件目录数上限 配置文件和目录数量配额。 存储空间配额 配置当前租户使用的HDFS存储空间配额。 当存储空间配额单位设置为MB时，范围为1～8796093022208，当“存储空间配额单位”设置为GB时，范围为1～8589934592。 此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。 如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。 如果此配额大于父租户的配额，实际存储量不超过父租户配额。 存储路径 配置租户在HDFS中的存储目录。 系统默认将自动在父租户目录中以子租户名称创建文件夹。例如子租户“ta1s”，父目录为“/tenant/ta1”，系统默认自动配置此参数值为“/tenant/ta1/ta1s”，最终子租户的存储目录为“/tenant/ta1/ta1s”。 支持在父目录中自定义存储路径。 服务 是否需要关联使用其他服务的资源，参见步骤4。 描述 配置当前租户的描述信息

名词解释 环境 目前天翼云Prometheus服务支持容器环境与云服务环境。 容器环境：每个云容器集群对应一个独立的容器环境。针对容器环境，Prometheus提供了自动化的监控采集链路，完成探针安装、数据采集、数据加工等工作。 云服务环境：对于常规云服务产品的数据采集，将按照资源池进行划分，为每个资源池创建各自的云服务环境。 组件 接入管理的每一个选项卡片即为一个组件，目前支持容器集群、分布式缓存服务Redis版、分布式消息服务Kafka与分布式容器云平台CCE ONE组件接入。 操作步骤 1. 登录Prometheus监控服务控制台。 2. 在左侧导航栏，单击接入中心。 3. 在接入中心页面，单击目标组件卡片接入数据。 4. 在弹出的面板中，在开始接入页签下，选择所属的环境类型。 5. 根据控制台提示配置相应参数，如选择对应的容器集群。 6. 点击确定，等待环境初始化、组件安装以及数据检查完成。 如果一切正常，接入完成后您可以进入接入管理的环境详情页面查询接入的大盘或告警规则，也可以探索产生的指标。 如果遇到异常，可根据异常提示进行相应的操作。

本章节介绍消息灰度功能的使用 概述 在使用全链路灰度能力时，若涉及消息的灰度，可以开启消息灰度能力。 版本限制 框架 限制 详情 RocketMQ 4.5.0+ 当前只支持RocketMQ的灰度。 jdk版本 1.8+ 无。 开启消息灰度 1.登录微服务治理中心控制台。 2.在左侧导航栏选择 微服务治理中心 >应用治理。 3.在应用治理页面单击目标应用卡片。 4.在左侧导航栏选择流量治理 消息灰度，即可配置消息灰度规则。 消息灰度参数说明： 参数 说明 未打标环境忽略标签 未打标环境默认会消费所有环境的消息。若配置“未打标环境忽略标签”，则未打标环境会忽略配置的标签。 开启消息灰度开关 消息灰度生效开关。 消息灰度过滤侧 客户端过滤：在消费端MSE Agent过滤，会拉取所有的消息，建议提前评估消息量。 服务端过滤：在服务端通过SQL92方式过滤，需要RocketMQ服务端支持。

运行结果 上面的示例代码中，消费者线程会循环调用 poll()方法来拉取消息，并对拉取到的消息进行处理。在处理消息时，示例代码只是简单地打印了消息的值。 因此，示例代码的响应结果将是每个消费者线程在拉取到消息时打印出消息的值。具体的响应结果将取决于你所消费的Kafka主题中的消息内容。 例如，假设你的Kafka主题中有以下两条消息： 1. Key: null, Value: "Hello, Kafka!" 2. Key: null, Value: "How are you?" 当消费者线程拉取到这两条消息时，它们将会打印如下的响应结果： Received message: Hello, Kafka! Received message: How are you? 请注意，示例代码中的打印语句只是简单地将消息值输出到控制台。在实际应用中，你可以根据需要对消息进行进一步的处理，比如将消息存储到数据库、执行业务逻辑等操作。

创建实例时开启SASLSSL访问，则数据加密传输，安全性更高。 由于安全问题，支持的加密套件为TLSECDHEECDSAWITHAES128CBCSHA256，TLSECDHERSAWITHAES128CBCSHA256和TLSECDHERSAWITHAES128GCMSHA256。 本节介绍如何使用开源的Kafka客户端访问开启SASL的Kafka专享实例的方法。 说明： 使用SASL方式连接Kafka实例时，为了客户端能够快速解析实例的Broker，建议在客户端所在主机的“/etc/hosts”文件中配置host和IP的映射关系。 其中，IP地址必须为实例连接地址（Broker地址），host为每个实例主机的名称（您可以自定义主机的名称，但不能重复）。 例如： 10.154.48.120 server01 10.154.48.121 server02 10.154.48.122 server03 前提条件 已配置正确的安全组。 访问开启SASL的Kafka专享实例时，支持VPC内访问。实例需要配置正确的安全组规则，具体安全组配置要求，请参考表32。 已获取连接Kafka专享版实例的地址。 使用VPC内访问，实例端口为9093，实例连接地址获取如下图。 获取VPC内访问Kafka专享实例的连接地址（实例已开启SASL） Kafka专享实例已创建Topic，否则请提前创建Topic。 已下载client.truststore.jks证书。如果没有，在控制台单击Kafka实例名称，进入实例详情页面，在“基本信息 > 高级配置 > Kafka SASLSSL”所在行，单击 。下载压缩包后解压，获取压缩包中的客户端证书文件：client.truststore.jks。 已下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本，确保Kafka实例版本与命令行工具版本相同。 已在Kafka命令行工具的使用环境中安装Java Development Kit 1.8.111或以上版本，并完成环境变量配置。 命令行模式连接实例 以下操作命令以Linux系统为例进行说明。 解压Kafka命令行工具。 进入文件压缩包所在目录，然后执行以下命令解压文件。 tar zxf [kafkatar] 其中，[kafkatar]表示命令行工具的压缩包名称。 例如： tar zxf kafka2.111.1.0.tgz 修改Kafka命令行工具配置文件。 在Kafka命令行工具的“/config”目录中找到“consumer.properties”和“producer.properties”文件，并分别在文件中增加如下内容。 sasl.jaas.configorg.apache.kafka.common.security.plain.PlainLoginModule required username"" password""; sasl.mechanismPLAIN security.protocolSASLSSL ssl.truststore.location/opt/kafka2.111.1.0/config/client.truststore.jks ssl.truststore.passworddms@kafka ssl.endpoint.identification.algorithm 参数说明： username和password为创建Kafka专享实例过程中开启SASLSSL时填入的用户名和密码。 ssl.trustore.location配置为client.truststore.jks证书的存放路径。注意，Windows系统下证书路径中也必须使用“/”，不能使用Windows系统中拷贝路径时的“”，否则客户端获取证书失败。 ssl.truststore.password为服务器证书密码，不可更改，需要保持为dms@kafka。 ssl.endpoint.identification.algorithm为证书域名校验开关，为空则表示关闭。这里需要保持关闭状态，必须设置为空。 进入Kafka命令行工具的“/bin”目录下。 注意，Windows系统下需要进入“/bin/windows”目录下。 执行如下命令进行生产消息。 ./kafkaconsoleproducer.sh brokerlist ${连接地址} topic ${Topic名称} producer.config ../config/producer.properties 参数说明如下： 连接地址：从前提条件获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 如下示例，Kafka实例连接地址为“10.xxx.xxx.202:9093,10.xxx.xxx.197:9093,10.xxx.xxx.68:9093”。 执行完命令后，输入需要生产的消息内容，按“Enter”发送消息到Kafka实例，输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecskafka bin]

步骤二：测试验证 1. 登录分布式消息服务Kafka管理控制台。 2. 在左侧导航栏，单击实例列表，选择事件流的源实例。 3. 在主题管理页面，选择源的目标主题，操作列点击更多 ，然后点击生产消息。 4. 在生产消息对话框输入想要发送的消息，然后点击发送消息。 5. 发送消息后返回实例列表，选择事件流的目标实例，进入管理。 6. 在消息查询页面，选择目标实例的目标主题，然后按时间查询，查询最近收到的消息。 7. 查看查询到的Key和Value值是否与生产的消息一致，详见图2。 图2 在分布式消息服务Kafka管理控制台查看消息详情

MRS的Storm集群提交任务时如何指定日志路径？ 客户可以根据自己的需求，修改MRS的流式Core节点上的/opt/Bigdata/MRSXXX /1XX Supervisor/etc/worker.xml文件，将标签filename的值设定为客户需要的路径，然后在Manager页面重启对应实例。 建议客户尽量不要修改MRS默认的日志配置，可能会造成日志系统异常。 如何检查Yarn的ResourceManager配置是否正常？ 本案例适用于MRS 3.x之前版本。 登录MRS Manager页面，选择“服务管理 > Yarn > 实例”。 1.分别单击两个ResourceManager名称，选择“更多 > 同步配置”，并选择不勾选“重启配置过期的服务或实例。”。 2.单击“是”进行配置同步。 3.以root用户分别登录Master节点。 4.执行 cd /opt/Bigdata/MRSCurrent/ ResourceManager/etcUPDATED/ 命令进入etcUPDATED目录。 5.执行grep '.queues' capacityscheduler.xml A2找到配置的所有队列，并检查队列和Manager页面上看到的队列是否一一对应。 rootdefault在Manager页面隐藏，在页面看不到属于正常现象。 6.执行grep '.capacity' capacityscheduler.xml A2找出各队列配置的值，检查每个队列配置的值是否和Manager上看到的一致。并检查所有队列配置的值的总和是否是100。 是，则说明配置正常。 否，则说明配置异常，请执行后续步骤修复。 7.登录MRS Manager页面，选择“主机管理”。 8.查找主Master节点，主机名称前带实心五角星的Master节点即为主Master节点。 9.以root用户登录主Master节点。 10.执行su omm切换到omm用户。 11.执行sh /opt/Bigdata/om0.0.1/sbin/restartcontroller.sh重启Controller。 请在Manager页面没有其他操作后重启Controller，重启Controller对大数据组件业务无影响。 12.重新执行步骤1~步骤7同步ResourceManager的配置并检查配置是否正常。 配置同步完成后Manager页面可能显示配置过期，该显示不影响业务，是由于组件没有加载最新的配置，待后续组件重启的时会自动加载。

介绍分布式消息服务Kafka计费模式互转的功能操作内容。 场景描述 Kafka的按需转包周期的场景描述如下： 在使用Kafka时，可能会遇到需要设置按需转包周期的场景，例如： 消息积压处理：当Kafka中的消息积压较多时，可能会导致消息的消费速度跟不K上消息的生产速度，进而影响系统的性能和稳定性。为了解决这个问题，可以设置按需转包周期，即将一定数量的消息打包成一个批次进行消费，以提高消费的效率和吞吐量。 业务流量波动：在某些业务场景下，业务流量可能会出现波动，即某个时间段内的消息产生速度较快，而另一个时间段内的消息产生速度较慢。为了更好地适应业务流量的波动，可以设置按需转包周期，以根据实际的消息产生情况进行灵活的批量消费。 系统资源优化：当Kafka的消费者资源有限时，可以通过设置按需转包周期来优化系统的资源利用。通过将一定数量的消息打包成一个批次进行消费，可以减少消费者的竞争和上下文切换，提高系统的并发处理能力。 消息处理延迟优化：在某些场景下，对消息的实时性要求较低，可以通过设置按需转包周期来优化消息的处理延迟。将一定数量的消息打包成一个批次进行消费，可以减少消息的处理次数，从而降低消息的处理延迟。 需要注意的是，在设置按需转包周期时，应根据实际业务需求和系统情况进行调整。同时，应考虑消息的重要性、消费者的处理能力、系统的资源限制等因素，以确保系统的稳定性和性能。

本节主要介绍分布式消息服务Kafka的功能特性 消息收发 消息发送，支持指定分区发送、同步发送、异步发送、分区批量累积发送；支持身份认证，客户端连接Broker时使用SSL或SASL进行验证，数据传加密传输；支持ACL机制，提供客户端读、写权限认证。支持通过压缩算法实现消息体压缩，减少网络传输数据量，提高Kafka的消息发送吞吐量。 消息消费，支持指定Partition消费、指定分区的offset消费；采用poll方式，支持批量消费，支持广播消费。 消息有序性 针对消息有序的业务需求，分为全局有序和局部有序。 全局有序：一个Topic下的所有消息都需要按照生产顺序消费。 局部有序：一个Topic下的消息，只需要满足同一业务字段的要按照生产顺序消费。例如：Topic消息是订单的流水表，包含订单orderId，业务要求同一个orderId的消息需要按照生产顺序进行消费。 由于Kafka的一个Topic可以分为了多个Partition，Producer发送消息的时候，是分散在不同 Partition的。当Producer按顺序发消息给Broker，但进入Kafka之后，这些消息就不一定进到哪个Partition，会导致顺序是乱的。因此要满足全局有序，需要1个Topic只能对应1个Partition。 要满足局部有序，只需要在发消息的时候指定Partition Key，Kafka对其进行Hash计算，根据计算结果决定放入哪个Partition。这样Partition Key相同的消息会放在同一个Partition。此时，Partition的数量仍然可以设置多个，提升Topic的整体吞吐量。

本章节主要介绍使用TPCH样例模板开发并提交Spark SQL作业。 为了便捷快速的执行SQL操作，DLI支持定制模板或将正在使用的SQL语句保存为模板。保存模板后，不需编写SQL语句，可通过模板直接执行SQL操作。 当前系统提供了多条标准的TPCH查询语句模板，可以根据当前需求选择使用。本样例演示通过一个TPCH样例模板开发并提交Spark SQL作业的基本流程： 操作步骤 1.登录DLI管理控制台。 2.在DLI管理控制台，选择“作业模板”>“SQL模板”>“样例模板”，在“tpchQuery”下找到“Q1价格摘要报告查询”样例模板，单击操作列的“执行”进入“SQL编辑器”。 3.在“SQL编辑器”页面右侧的编辑窗口上方，“执行引擎”选择“spark”，“队列”选择“default”，“数据库”选择“default”，单击“执行”。 4.SQL作业编辑窗口下方“查看结果”页签查看查询结果。 本示例使用系统预置的“default”队列和数据库进行演示，也可以在自建的队列和数据库下执行。 创建队列请参考《数据湖探索用户指南》>《创建队列》。创建数据库请参考《数据湖探索用户指南》下的“数据管理 > 库表管理 > 创建数据库和表”。

向主题添加订阅 要接收发布至主题的消息，您必须添加一个订阅终端节点到该主题。消息通知服务会发送一条订阅确认的消息到订阅终端，订阅确认的消息将在48小时内有效。如果订阅者在48小时之内确认订阅，将会收到推送至主题的消息。如果订阅者在48小时之内没有确认订阅，则需要再次给订阅者发送订阅确认的消息。 1.登录管理控制台。 2.选择“管理与监管 > 消息通知服务”。 进入消息通知服务页面。 3.在左侧导航栏，选择“主题管理 > 主题”。 进入主题页面。 4.在主题列表中，选择您要向其添加订阅者的主题，在右侧“操作”栏单击“添加订阅”。 此时将显示“添加订阅”对话框。 其中：协议参数选项为“短信”、“邮件”、FunctionGraph（函数）HTTP、HTTPS。 订阅终端参数为订阅的终端地址，短信、邮件终端支持批量输入，批量添加时，每个终端地址占一行。最多可输入10个终端。 5.单击“确定”。 新增订阅将显示在页面下方的订阅列表中。 向订阅者发送消息 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 3.单击“告警管理”。 4.选择“消息订阅规则 > 添加消息订阅规则”，进入添加消息订阅页面。 5.配置消息订阅规则相关参数。 消息订阅规则参数说明 参数 说明 规则名称 用户自定义发送订阅消息的规则名称，只能包含数字、英文字符、中划线和下划线。 提醒通知 选择开启时，将按照该订阅规则为订阅者发送对应订阅消息。 选择关闭时，该规则不会生效，即不会向订阅者发送订阅消息。 主题名称 选择已创建的主题，也可以单击“创建主题”重新创建。 消息类型 选择需要订阅的消息类型。 告警 事件 订阅规则 选择需要订阅的消息规则，可根据需要勾选全部或部分规则。 、 MRS 3.x及之后版本订阅规则： 告警：紧急，重要，次要 事件：重要，次要，提示 MRS 3.x之前版本订阅规则： 致命 严重 一般 提示 6.单击“确定”完成消息提醒配置。

本章节主要介绍翼MapReduce服务的集群管理功能。 创建集群 支持用户在创建集群时，按需选择集群类型、组件范围、操作系统、主机类型、CPU类型、各类型的节点数、主机规格、可用区、VPC网络等配置。翼MR服务会根据用户选择的配置，帮助客户自动完成企业级大数据平台的安装部署和参数调优。 翼MR服务为客户提供完全可控的大数据集群，客户在创建时可设置主机的登录方式，所创建的翼MR集群资源完全归客户所用。 翼MR集群类型包括数据湖、数据分析、数据服务、云搜索、实时数据流、自定义集群 1. 数据湖集群：提供更高效、灵活的管理集群，更快地运行大数据的计算引擎，更好地提供数据分析能力。 2. 数据分析集群：Apache Doris开源的MPP架构的OLAP分析引擎，支持亚秒级的数据查询和多表join。 3. 数据服务集群：提供更灵活、可靠、高效的数据服务集群。 4. 云搜索集群（仅存量支持）：为结构化/非结构化数据提供低成本、高性能及可靠性的检索、分析服务能力。 5. 实时数据流集群：提供高效的流式计算、消息队列等组件能力，支持实时数据ETL和日志采集分析的业务需求。 6. 自定义集群：提供丰富灵活的服务搭配，支持自行选择业务所需服务。建议不要将多个存储类服务部署在一个节点组上，避免资源争抢。 翼MR集群节点类型包括master节点、core节点和task节点 1. master节点：集群中的管理节点，保证集群的调度正常进行；主要部署NameNode、ResourceManager、HMaster等进程。集群默认为HA模式，master节点数固定为3。该类型节点可以通过节点扩容、配置升级与磁盘扩容，以支持更大集群的管理。 2. core节点：集群中的计算及存储节点，主要部署DataNode、NodeManager、HRegionServer等进程。为满足存储数据量或计算量扩展的需求，支持配置升级、节点扩容、新增节点组与磁盘扩容。 3. task节点：集群中的纯计算节点，主要负责计算数据，不存储数据，支持配置升级、节点扩容、节点缩容、新增节点组与磁盘扩容。

Kafka 是按分区一条一条消息顺序向前推进消费的，如果消费端拿到某条消息后执行消费逻辑失败，比如应用服务器出现了脏数据，导致某条消息处理失败，等待人工干预，那么有以下两种处理方式： 失败后一直尝试再次执行消费逻辑。这种方式有可能造成消费线程阻塞在当前消息，无法向前推进，造成消息堆积。 由于 Kafka 自身没有处理失败消息的设计，实践中通常会打印失败的消息、或者存储到某个服务（比如创建一个 Topic 专门用来放失败的消息），然后定时 check 失败消息的情况，分析失败原因，根据情况处理。

参数 参数说明 分区数 您可以设置Topic的分区数，分区数越大消费的并发度越大。该参数设置为1时，消费消息时会按照先入先出的顺序进行消费。取值范围：1100，默认值：6 分区容量 每个分区的数据量的最大值，超过这个值后前面生产的消息将会被删除，保证了数据不会无限上涨挤爆磁盘。 是否同步刷盘 同步刷盘即确保消息被写入磁盘才会被认定为生产成功，该参数可提高可靠性，但是会影响性能。 消息保留时长 当消息生存时间超过该时长后，将会被清理，可用于控制存储成本。 最小同步副本数 该参数使得消息必须写入设定值个数的副本后，才能被认定生产成功，该参数可提高可靠性，但是过大会影响性能，且必须不大于副本数。 批处理消息最大值 每个批次中最大允许的消息大小，这影响了每次请求中能包含的消息总量和大小。 消息时间戳类型 CreateTime: 这是消息被生产者发送到Kafka时的时间戳，它表示消息创建的实际时间；LogAppendTime: 这是消息被Kafka日志接收并写入到日志文件时的时间戳，它表示消息写入 Kafka 的实际时间。 描述 topic的描述字段，可用作标记和说明。

本章节主要介绍如何配置作业消息通知。 MRS联合消息通知服务（SMN），采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式（短信和邮件通知）。通过配置作业消息通知可以实现您在作业执行成功或作业执行失败时能立即接收到通知。 操作步骤 1.登录管理控制台。 2.单击“服务列表”选择“管理与监管 > 消息通知服务”，进入消息通知服务页面。 3.创建主题并向主题中添加订阅，具体请参考配置消息通知。 4.进入MRS管理控制台，单击集群名称进入集群详情页面。 5.选择“告警管理 > 消息订阅规则 > 添加消息订阅规则”。 6.配置向订阅者发送作业执行结果消息的规则。 消息订阅规则参数说明 参数 说明 规则名称 用户自定义发送订阅消息的规则名称，只能包含数字、英文字符、中划线和下划线。 提醒通知 选择开启，将向订阅者发送对应订阅消息。 主题名称 选择已创建的主题，也可以单击“创建主题”重新创建。 消息类型 选择“事件”。 订阅规则 1. 单击“提示”前的。 2. 单击“Manager”前的。 3. 勾选“作业执行成功”和“作业执行失败”。

本文介绍消息管理功能的使用方式。 使用说明 1. 登录ECX控制台。 2. 在左侧栏找到【服务管理>消息管理】并点击进入。 3. 消息管理版块可以配置接收消息的邮箱、安全验证方式、消息接收组。 邮箱 点击【邮箱】，可以查看注册邮箱、默认的消息通知都将发送到注册邮箱中，如果您的天翼云账号不是以邮箱注册的，可以在【天翼云官网>我的>账号中心>基本信息、安全设置】版块，绑定一个邮箱。 安全验证 点击【安全验证】，可以设置敏感操作保护，开启后，进行敏感操作时，将需要进行安全验证。 消息接收组 点击【消息接收组】，可以查看、创建、管理消息接收组，一个消息接收组中支持配置企业微信机器人地址、钉钉订阅地址、多个邮箱及手机号，用于接收告警消息。所有接收组中的手机号，共享短信通知配额。

本节介绍了 使用cubevolcano的用户指南。 插件简介 Volcano调度器是一个基于Kubernetes的批处理平台，提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要而Kubernetes当前缺失的一系列特性。 Volcano提供了高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力，通过接入AI、大数据、基因、渲染等诸多行业计算框架服务终端用户。(目前Volcano项目已经在Github开源) Volcano针对计算型应用提供了作业调度、作业管理、队列管理等多项功能，主要特性包括： 丰富的计算框架支持：通过CRD提供了批量计算任务的通用API，通过提供丰富的插件及作业生命周期高级管理，支持TensorFlow，MPI，Spark等计算框架容器化运行在Kubernetes上。 高级调度：面向批量计算、高性能计算场景提供丰富的高级调度能力，包括成组调度，优先级抢占、装箱、资源预留、任务拓扑关系等。 队列管理：支持分队列调度，提供队列优先级、多级队列等复杂任务调度能力。 项目开源地址： 前置条件 安装cubevolcano插件 使用示例 修改调度器配置 查看调度配置，默认开启binpack插件 修改volcano调度器配置，增加binpack得分权重，减少其他调度插件的影响 调整日志级别，查看更详细的日志 创建验证负载任务并且指定使用volcano调度器 可查看负载的YAML，确认scheduleName已设置为volcano 从控制台查看调度器日志，得知各节点的得分 从日志中知道得分最高的节点，查看pod绑定节点，预期绑定的是最高得分的节点

本节适用于南京3、重庆2、晋中、上海7、北京5、内蒙6、石家庄20节点。 场景描述 RocketMQ的按需转包周期的场景描述如下： 在使用RocketMQ时，可能会遇到需要设置按需转包周期的场景，例如： 消息积压处理：当RocketMQ中的消息积压较多时，可能会导致消息的消费速度跟不上消息的生产速度，进而影响系统的性能和稳定性。为了解决这个问题，可以设置按需转包周期，即将一定数量的消息打包成一个批次进行消费，以提高消费的效率和吞吐量。 业务流量波动：在某些业务场景下，业务流量可能会出现波动，即某个时间段内的消息产生速度较快，而另一个时间段内的消息产生速度较慢。为了更好地适应业务流量的波动，可以设置按需转包周期，以根据实际的消息产生情况进行灵活的批量消费。 系统资源优化：当RocketMQ的消费者资源有限时，可以通过设置按需转包周期来优化系统的资源利用。通过将一定数量的消息打包成一个批次进行消费，可以减少消费者的竞争和上下文切换，提高系统的并发处理能力。 消息处理延迟优化：在某些场景下，对消息的实时性要求较低，可以通过设置按需转包周期来优化消息的处理延迟。将一定数量的消息打包成一个批次进行消费，可以减少消息的处理次数，从而降低消息的处理延迟。 需要注意的是，在设置按需转包周期时，应根据实际业务需求和系统情况进行调整。同时，应考虑消息的重要性、消费者的处理能力、系统的资源限制等因素，以确保系统的稳定性和性能。

在业务场景允许的情况下，优先选择无序消息，或者在业务能变通的情况下，将有序消息转化为无序消息。 无序消息的优点： 生产者可以使用多进程、多线程往同一个Topic发送消息，性能更好。 消费者可以使用多进程、多线程同时消费，性能较好。 可以充分使用集群的Failover特点，无须依赖自动主备切换（切换过程服务会中断），包括： 当集群中某一Broker节点故障时，不影响业务消息生产，消息将failover发送到其它节点； 当集群中某一Broker节点故障时，不影响其它节点数据消费，故障恢复后即可消费。 能动态地扩容。 有序消息的缺点： 对于有序消息，当节点故障时，Queue数不会变化，生产与消费都会出现异常，直到故障节点恢复。 对于有序消息，需要将所有消息消费完，并且停止客户端，才能扩容。