自定义模板 通过自定义模板可查看对应分组或者标签的终端之间的通信关系。 1. 登录大模型安全卫士实例。 2. 在菜单栏选择“策略管理 > 微隔离 > 流量画像”，进入终端展示页面。 3. 点击页面右上角的“老版”，切换为老版本流量画像的相关功能页面。 4. 点击右侧自定义模板 列表中的图标。 5. 在弹出的对话框中输入自定义模板信息后点击“确定”，即可新增自定义模板。 6. 点击模板右上角的图标，可对自定义模板进行编辑和删除操作。

迁移方案一：先迁生产，再迁消费 先将生产消息的业务迁移到新的Kafka，原Kafka不会有新的消息生产。待原有Kafka实例的消息全部消费完成后，再将消费消息业务迁移到新的Kafka，开始消费新Kafka实例的消息。 本方案为业界通用的迁移方案，操作步骤简单，迁移过程由业务侧自主控制，整个过程中消息不会存在乱序问题， 适用于对消息顺序有要求的场景 。但是该方案中需要等待消费者业务直至消费完毕，存在一个时间差的问题，部分数据可能存在较大的端到端时延。 1、将生产客户端的Kafka连接地址修改为新Kafka实例的连接地址。 2、重启生产业务，使得生产者将新的消息发送到新Kafka实例中。 3、观察各消费组在原Kafka的消费进度，直到原Kafka中数据都已经被消费完毕。 4、将消费客户端的Kafka连接地址修改为新Kafka实例的连接地址。 5、重启消费业务，使得消费者从新Kafka实例中消费消息。 6、观察消费者是否能正常从新Kafka实例中获取数据。 7、迁移结束。 结束 迁移方案二：同时消费，后迁生产 消费者业务启用多个消费客户端，分别向原Kafka和新Kafka实例消费消息，然后将生产业务切到新Kafka实例，这样能确保所有消息都被及时消费。 本方案中消费业务会在一段时间内同时消费原Kafka和新Kafka实例。由于在迁移生产业务之前，已经有消费业务运行在新Kafka实例上，因此不会存在端到端时延的问题。但在迁移生产的开始阶段，同时消费原Kafka与新Kafka实例，会导致部分消息之间的生产顺序无法保证，存在消息乱序的问题。此场景 适用于对端到端时延有要求，却对消息顺序不敏感的业务 。 1、启动新的消费客户端，配置Kafka连接地址为新Kafka实例的连接地址，消费新Kafka实例中的数据。 原有消费客户端需继续运行，消费业务同时消费原Kafka与新Kafka实例的消息。 2、修改生产客户端，Kafka连接地址改为新Kafka实例的连接地址。 3、重启生产客户端，将生产业务迁移到新Kafka实例中。 4、生产业务迁移后，观察连接新Kafka实例的消费业务是否正常。 5、等待原Kafka中数据消费完毕，关闭原有消费业务客户端。 6、迁移结束。 结束

步骤二：测试验证 1. 登录分布式消息服务Kafka控制台。 2. 在左侧导航栏，单击实例列表，选择事件流的源实例。 3. 在主题管理页面，选择源的目标主题，操作列点击更多 ，然后点击生产消息。 4. 在生产消息对话框输入想要发送的消息，然后点击发送消息。 5. 发送消息后，登录函数计算管理控制台。 6. 在函数页面，单击目标函数名称。 7. 在目标函数详情页面，单击监控页签，查看函数是否被触发以及调用时延，如图1所示。 图1 在函数计算管理控制台中查看函数监控指标

配置项 解释说明 最大重试次数 用于配置异步调用流程中的消息最大重试次数，取值范围[0,8]。函数计算在默认情况下，对异步触发失败的消息进行3次重试，您可以根据业务需求减少或增加对异步调用的重试。 消息最大存活时长 用于配置异步调用流程中的消息最大存活时长，取值范围[1,2592000]，单位为秒。该时长从触发异步调用时开始计算，到该消息出队准备进行处理为止。如果超过配置的消息最大存活时长，该条消息将被丢弃。

介绍分布式消息服务RabbitMQ预取值功能 使用场景 所谓消息预取机制，它定义了在一个信道上，消费者允许的最大未确认的消息数量。 一旦未确认的消息数量达到了设置的预取值，RabbitMQ就停止传递更多消息，除非至少有一条未完成的消息得到了确认。 如何设置合适的预取值 通常，增加预取将提高向消费者传递消息的速度。虽然自动应答传输消息速率是最佳的，但是，在这种情况下已传递但尚未处理的消息的数量也会增加，从而增加了消费者的 RAM 消耗(随机存取存储器)应该小心使用具有无限预处理的自动确认模式或手动确认模式，消费者消费了大量的消息如果没有确认的话，会导致消费者连接节点的内存消耗变大，所以找到合适的预取值是一个反复试验的过程，不同的负载该值取值也不同 100 到 300 范围内的值通常可提供最佳的吞吐量，并且不会给消费者带来太大的风险。 预取值为 1 是最保守的。当然这将使吞吐量变得很低，特别是消费者连接延迟很严重的情况下，特别是在消费者连接等待时间较长的环境 中。对于大多数应用来说，稍微高一点的值将是最佳的。 设置预取值 设置预取值的java示例代码如下 ConnectionFactory factory new ConnectionFactory(); Connection connection factory.newConnection(); Channel channel connection.createChannel(); channel.basicQos(20, false);

本章节主要介绍使用TPCH样例模板开发并提交Spark SQL作业。 为了便捷快速的执行SQL操作，DLI支持定制模板或将正在使用的SQL语句保存为模板。保存模板后，不需编写SQL语句，可通过模板直接执行SQL操作。 当前系统提供了多条标准的TPCH查询语句模板，可以根据当前需求选择使用。本样例演示通过一个TPCH样例模板开发并提交Spark SQL作业的基本流程： 操作步骤 1.登录DLI管理控制台。 2.在DLI管理控制台，选择“作业模板”>“SQL模板”>“样例模板”，在“tpchQuery”下找到“Q1价格摘要报告查询”样例模板，单击操作列的“执行”进入“SQL编辑器”。 3.在“SQL编辑器”页面右侧的编辑窗口上方，“执行引擎”选择“spark”，“队列”选择“default”，“数据库”选择“default”，单击“执行”。 4.SQL作业编辑窗口下方“查看结果”页签查看查询结果。 本示例使用系统预置的“default”队列和数据库进行演示，也可以在自建的队列和数据库下执行。 创建队列请参考《数据湖探索用户指南》>《创建队列》。创建数据库请参考《数据湖探索用户指南》下的“数据管理 > 库表管理 > 创建数据库和表”。

MRS的Storm集群提交任务时如何指定日志路径？ 客户可以根据自己的需求，修改MRS的流式Core节点上的/opt/Bigdata/MRSXXX /1XX Supervisor/etc/worker.xml文件，将标签filename的值设定为客户需要的路径，然后在Manager页面重启对应实例。 建议客户尽量不要修改MRS默认的日志配置，可能会造成日志系统异常。 如何检查Yarn的ResourceManager配置是否正常？ 本案例适用于MRS 3.x之前版本。 登录MRS Manager页面，选择“服务管理 > Yarn > 实例”。 1.分别单击两个ResourceManager名称，选择“更多 > 同步配置”，并选择不勾选“重启配置过期的服务或实例。”。 2.单击“是”进行配置同步。 3.以root用户分别登录Master节点。 4.执行 cd /opt/Bigdata/MRSCurrent/ ResourceManager/etcUPDATED/ 命令进入etcUPDATED目录。 5.执行grep '.queues' capacityscheduler.xml A2找到配置的所有队列，并检查队列和Manager页面上看到的队列是否一一对应。 rootdefault在Manager页面隐藏，在页面看不到属于正常现象。 6.执行grep '.capacity' capacityscheduler.xml A2找出各队列配置的值，检查每个队列配置的值是否和Manager上看到的一致。并检查所有队列配置的值的总和是否是100。 是，则说明配置正常。 否，则说明配置异常，请执行后续步骤修复。 7.登录MRS Manager页面，选择“主机管理”。 8.查找主Master节点，主机名称前带实心五角星的Master节点即为主Master节点。 9.以root用户登录主Master节点。 10.执行su omm切换到omm用户。 11.执行sh /opt/Bigdata/om0.0.1/sbin/restartcontroller.sh重启Controller。 请在Manager页面没有其他操作后重启Controller，重启Controller对大数据组件业务无影响。 12.重新执行步骤1~步骤7同步ResourceManager的配置并检查配置是否正常。 配置同步完成后Manager页面可能显示配置过期，该显示不影响业务，是由于组件没有加载最新的配置，待后续组件重启的时会自动加载。

参数名 描述 集群 显示上级父租户所在集群。 父租户资源 显示上级父租户的名称。 名称 指定当前租户的名称，长度为3~50个字符，可包含数字、字母或下划线（）。 根据业务需求规划子租户的名称，不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。 租户资源类型 指定租户是否是一个叶子租户： 选择“叶子租户资源”：当前租户为叶子租户，不支持添加子租户。 选择“非叶子租户资源”：当前租户为非叶子租户，支持添加子租户，但租户层级不能超过5层。 计算资源 为当前租户选择动态计算资源。 选择“Yarn”时，系统自动在Yarn中以子租户名称创建任务队列。 − 如果是叶子租户，叶子租户可直接提交到任务队列中。 − 如果是非叶子租户，非叶子租户不能直接将任务提交到队列中。 但是，Yarn会额外为非叶子租户增加一个任务队列（隐含），队列默认命名为“default”，用于统计当前租户剩余的资源容量，实际任务不会分配在此队列中运行。 不选择“Yarn”时，系统不会自动创建任务队列。 配置模式 计算资源参数配置模式。 选择“基础”时，只需配置“默认资源池容量 （%）”参数即可。 选择“高级”时，可手动配置资源分配权重，租户的最小/最大/预留资源。 默认资源池容量（%） 配置当前租户使用的计算资源百分比，基数为父租户的资源总量。 权重 资源分配权重，取值范围从0到100。 最小资源 保证租户资源能获得的资源（有抢占支持）。取值可以是父租户资源的百分比或绝对值。当租户资源作业量比较少时，资源会自动借给其他租户资源，当租户资源能使用的资源不满足最小资源时，可以通过抢占来要回之前借出的资源。 最大资源 租户资源最多能使用的资源，租户资源不能得到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。 预留资源 租户资源预留资源。即使租户资源内没有作业，预留的资源也不能给别的租户资源使用。取值可以是父租户资源的百分比或绝对值。 存储资源 为当前租户选择存储资源。 选择“HDFS”时，系统将自动在HDFS父租户目录中，以子租户名称创建文件夹。 不选择“HDFS”时，系统不会分配存储资源。 文件目录数上限 配置文件和目录数量配额。 存储空间配额 配置当前租户使用的HDFS存储空间配额。 当存储空间配额单位设置为MB时，范围为1～8796093022208，当“存储空间配额单位”设置为GB时，范围为1～8589934592。 此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。 如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。 如果此配额大于父租户的配额，实际存储量不超过父租户配额。 存储路径 配置租户在HDFS中的存储目录。 系统默认将自动在父租户目录中以子租户名称创建文件夹。例如子租户“ta1s”，父目录为“/tenant/ta1”，系统默认自动配置此参数值为“/tenant/ta1/ta1s”，最终子租户的存储目录为“/tenant/ta1/ta1s”。 支持在父目录中自定义存储路径。 服务 是否需要关联使用其他服务的资源，参见步骤4。 描述 配置当前租户的描述信息

介绍APM监控详情里消息监控中的KafkaProducer相关指标的名称、含义等信息。 KafkaProducer监控指标说明表 指标类别 指标 指标说明 数据类型 异常 exceptionstacktrace 异常产生的堆栈信息 String 异常 exceptiontype 异常类型 String 异常 exceptioncount 错误数 Int Topic (Topic，Kafka的Topic监控数据) id Clientid和IP信息 Enum Topic (Topic，Kafka的Topic监控数据) topic Kafka的Topic名称 Enum Topic (Topic，Kafka的Topic监控数据) kafkaproducerbyterate 每秒发送字节 Int Topic (Topic，Kafka的Topic监控数据) kafkaproducerrecorderrorrate 每秒错误数 Int Topic (Topic，Kafka的Topic监控数据) kafkaproducerrecordretryrate 每秒重试数 Int Topic (Topic，Kafka的Topic监控数据) kafkaproducerrecordsendrate 每秒发送数 Int Topic (Topic，Kafka的Topic监控数据) kafkaproducerrecordsendtotal 总发送次数 Int Topic (Topic，Kafka的Topic监控数据) kafkaproducerbytetotal 总发送字节数 Int 汇总（Total，KafkaProducer汇总信息统计） kafkaproducerrecordsendtotal 总发送次数 Int 汇总（Total，KafkaProducer汇总信息统计） kafkaproducerbytetotal 总发送字节数 Int 发送方法（DoSendMethod，发送消息方法监控） topic Kafka的Topic名称 Enum 发送方法（DoSendMethod，发送消息方法监控） errorCount 错误数 Int 发送方法（DoSendMethod，发送消息方法监控） invokeCount 调用次数 Int 发送方法（DoSendMethod，发送消息方法监控） maxTime 最慢时延 Int 发送方法（DoSendMethod，发送消息方法监控） ms0To10Count 010ms次数 Int 发送方法（DoSendMethod，发送消息方法监控） ms10To100Count 10100ms次数 Int 发送方法（DoSendMethod，发送消息方法监控） ms100To500Count 100500ms次数 Int 发送方法（DoSendMethod，发送消息方法监控） ms500To1000Count 5001000ms次数 Int 发送方法（DoSendMethod，发送消息方法监控） ms1000To10000Count 110s次数 Int 发送方法（DoSendMethod，发送消息方法监控） msMorethan10000Count 10s以上次数 Int 发送方法（DoSendMethod，发送消息方法监控） totalTime 调用总耗时 Int

参数名称 说明 行动规则名称 行动规则的名称，只能由数字、字母、下划线组成，且不能以下划线开头和结尾，长度为3到36个字符。 描述 行动规则的描述。 行动规则类型 告警行动规则与SMN主题、消息模板关联的类型，请从下拉列表中选择。当前只支持“通知”类型。 主题 SMN主题，请从下拉列表中选择。若没有合适的主题，请单击主题选择栏下方“创建主题”，在SMN界面创建。 消息模板 通知消息的模板，请从下拉列表中选择。若没有合适的消息模板，请单击消息模板选择栏右侧“创建消息模板”，新建消息模板。

自定义云短信网关 1 登录云堡垒机系统。 2 选择“系统 > 系统配置 > 外发配置”，进入系统外发配置管理页面。 外发配置 3 在“短信网关配置”区域，单击“编辑”，弹出短信网关配置窗口。 4 单击“确认”，返回外发配置页面，即可查看短信网关信息。 云短信网关参数说明 参数 说明 APPKey 申请短信应用后，输入短信应用的APPKey。 APPSecret 申请短信应用后，输入短信应用的APPSecret。 APP接入地址 申请短信应用后，输入短信应用的APP接入地址。 通道号 申请短信签名后，输入短信前面通道号。 模板ID 申请短信模板后，输入短信模板的ID。 测试手机号 输入可用手机号码，验证短信内容。 告警配置 配置告警方式 针对系统消息、业务消息、任务消息、命令告警、工单消息五大类告警类型，支持不同告警类型各级别消息是否告警和告警方式。 告警方式包括消息中心、邮件通知、短信通知。 根据告警等级划分各类消息是否告警，以及告警方式。 默认低等级消息不告警。 默认中等级消息告警，通过消息中心告警提醒。 默认高等级消息告警，通过消息中心和邮件通知。 本小节主要介绍如何配置系统告警方式。

告警策略模板 1. 登录ECX控制台，点击【服务管理>告警管理>告警模板】。 2. 点击【+创建告警模板】可以创建告警策略模板。 3. 通过创建告警策略模板，可以在创建告警策略时，选择对应的模板，快速创建告警策略。 告警消息 1. 登录ECX控制台，点击【服务管理>告警管理>告警消息】。 2. 告警消息版块可以查看所有的告警消息。 3. 如果触发告警的问题已修复，可以对告警消息点击【处理】，告警消息将被标记为【已恢复】。

参数 说明 Rulename 限流规则名称。 Running 匹配到该限流规则，且正常执行的SQL语句数量。 Waiting 匹配到该限流规则，且正在等待队列里的SQL语句数量。 Killed 匹配到该限流规则，且被Kill的SQL语句数量。 Totalmatch 匹配到该限流规则的总次数。 Maxconcurrencypernode 每个计算节点的并发度。 Waitqueuesizepernode 每个计算节点上等待队列的最大长度。 Waittimeout SQL语句在等待队列的最大等待时间。 Maxmergerows SELECT语句从DN返回的最大行数。 Sqltype SQL语句类型，可能值： SELECT DELETE UPDATE INSERT User 用户名。 Keywords 关键词列表。 Templateid SQL模板的哈希值。 Createdtime 限流规则的创建时间。 Templatesql SQL模板。

本文介绍消息通知的功能。 消息通知是什么 消息通知功能是网络管理与业务运营系统中的关键组件，它主要负责及时、精准地将各类重要事件信息传达给相关人员。无论是网络监测中带宽使用超量，还是业务流程出现异常状况，该功能都能自动生成对应的消息通知，让相关人员第一时间掌握情况，为后续处理争取时间，保障系统稳定运行和业务顺利开展。 消息通知特点 拥有高度灵活的配置能力，支持对消息类型、通知方式和接收对象进行自由组合设置。比如，针对带宽超量事件可选择短信通知特定网络管理员，针对业务订单异常可通过邮件通知负责人，满足多样化的业务需求。 通知方式丰富多样，如短信、邮件、客户端等，每种方式各有特点，能适配不同场景。像短信通知即时性强，可确保信息快速触达；邮件通知适合传递详细内容，方便接收者深入了解事件。 短信通知方面，支持接入如阿里短信网关等多种可靠的短信网关，借助成熟的短信服务平台，保证短信通知的高效性和稳定性，避免重要信息遗漏，提升整体系统的可靠性和响应速度。 消息通知功能 功能 功能说明 通知类型 产品识别并针对不同性质的事件生成相应的消息通知。例如，套餐用量使用方面，当短信使用出现超量事件时，系统会自动生成对应的通知消息，消息通知需要由客户进行设定通知的方式、通知对象以便更及时的进行消息传递。 通知渠道 为了实现高效、稳定的通知服务，产品除了自身携带的通知网关后，还支持接入多种网关，比如阿里云短信服务网关。

场景描述 RocketMQ中的Topic一旦创建后，通常是不允许直接修改的。因为Topic的配置信息会对消息的发送和消费产生影响，直接修改Topic可能导致消息的发送和消费出现问题。 然而，有时候可能会遇到需要修改Topic配置的场景，以下是一些可能的场景描述： 扩展Topic的分区数量：当Topic的消息量增加，原有的分区数量可能无法满足需求时，可以考虑扩展Topic的分区数量。通过修改Topic的配置，增加分区数量，可以提高消息的并发处理能力和负载均衡性能。 修改Topic的生产模式，可能会对消息的发送和消费产生影响，生产模式决定了消息发送的方式和策略，直接修改可能会导致消息发送和消费的异常。 修改Topic的读写权限，需要考虑到消费者和生产者的配置，以确保它们能够正确地读写Topic。 修改Topic备注，用户按照业务需要修改注意备注。 需要注意的是，修改Topic的配置可能会对消息的发送和消费产生影响，因此在进行修改之前，需要谨慎评估和测试，确保不会对现有的消息系统造成不可逆的影响。在实际操作中，建议在创建Topic时就根据业务需求进行充分的规划和配置，避免频繁修改Topic的配置。 操作步骤 1、进入Topic管理菜单，在Topic列表点击【编辑】按钮，进入编辑Topic窗口。 2、Topic修改时，不能修改集群、broker、topic名称；可以修改分区数、读写权限、备注；

名词解释 环境 目前天翼云Prometheus服务支持容器环境与云服务环境。 容器环境：每个云容器集群对应一个独立的容器环境。针对容器环境，Prometheus提供了自动化的监控采集链路，完成探针安装、数据采集、数据加工等工作。 云服务环境：对于常规云服务产品的数据采集，将按照资源池进行划分，为每个资源池创建各自的云服务环境。 组件 接入管理的每一个选项卡片即为一个组件，目前支持容器集群、分布式缓存服务Redis版、分布式消息服务Kafka与分布式容器云平台CCE ONE组件接入。 操作步骤 1. 登录Prometheus监控服务控制台。 2. 在左侧导航栏，单击接入中心。 3. 在接入中心页面，单击目标组件卡片接入数据。 4. 在弹出的面板中，在开始接入页签下，选择所属的环境类型。 5. 根据控制台提示配置相应参数，如选择对应的容器集群。 6. 点击确定，等待环境初始化、组件安装以及数据检查完成。 如果一切正常，接入完成后您可以进入接入管理的环境详情页面查询接入的大盘或告警规则，也可以探索产生的指标。 如果遇到异常，可根据异常提示进行相应的操作。

关键操作列表 操作事件 读写类型 重启实例节点 写事件 创建消息路由任务 写事件 删除消息路由任务 写事件 暂停消息路由任务 写事件 恢复消息路由任务 写事件 重发死信消息 写事件 更新Topic的读写模式 写事件 创建Acl用户 写事件 删除用户 写事件 更新用户 写事件 用户更新Topic权限 写事件 创建Connector任务 写事件 删除Connector任务 写事件 暂停Connector任务 写事件 恢复Connector任务 写事件 创建预付费实例 写事件 创建后付费实例 写事件 磁盘扩容 写事件 节点扩容 写事件 升规格 写事件 续订 写事件 退订 写事件

介绍分布式消息服务Kafka监控安全风险 分布式消息服务Kafka提供资源和操作监控能力，可以对每个消息实例实时监控、告警和通知操作。用户可以实时掌握实例、主题、消费组的生产消费情况，包括流量、堆积量、重平衡次数等关键信息。 分布式消息服务Kafka支持的监控指标等内容，参考监控信息。

本小节介绍微隔离防火墙更新发布与记录。 更新发布 更新发布有两个作用，一是可以记录本次需要发布的所有操作，便于审阅；二是通过本页面点击发布，将本次的所有操作同步到Agent。 点击按钮，可将本次还未发布的操作进行还原。 发布记录 发布记录页面会记录每次发布的内容，包括分发状态，描述，发布人，发布时间等信息。 点击每条发布记录最右侧的 ，即可进入比较页面，本页面会显示本条发布记录时与现有策略的差别项。

本节介绍了 使用cubevolcano的用户指南。 插件简介 Volcano调度器是一个基于Kubernetes的批处理平台，提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要而Kubernetes当前缺失的一系列特性。 Volcano提供了高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力，通过接入AI、大数据、基因、渲染等诸多行业计算框架服务终端用户。(目前Volcano项目已经在Github开源) Volcano针对计算型应用提供了作业调度、作业管理、队列管理等多项功能，主要特性包括： 丰富的计算框架支持：通过CRD提供了批量计算任务的通用API，通过提供丰富的插件及作业生命周期高级管理，支持TensorFlow，MPI，Spark等计算框架容器化运行在Kubernetes上。 高级调度：面向批量计算、高性能计算场景提供丰富的高级调度能力，包括成组调度，优先级抢占、装箱、资源预留、任务拓扑关系等。 队列管理：支持分队列调度，提供队列优先级、多级队列等复杂任务调度能力。 项目开源地址： 前置条件 安装cubevolcano插件 使用示例 修改调度器配置 查看调度配置，默认开启binpack插件 修改volcano调度器配置，增加binpack得分权重，减少其他调度插件的影响 调整日志级别，查看更详细的日志 创建验证负载任务并且指定使用volcano调度器 可查看负载的YAML，确认scheduleName已设置为volcano 从控制台查看调度器日志，得知各节点的得分 从日志中知道得分最高的节点，查看pod绑定节点，预期绑定的是最高得分的节点

一、资源选型 在天翼云官网开通海量文件服务（OceanFS）或弹性文件服务（SFS）。 注意 创建 OceanFS 时，需开启 “终端节点” 创建开关。 在天翼云官网开通弹性高性能计算服务，具体配置如下： 1 台昇腾 910B NPU 物理机，作为master管理节点 7 台昇腾 910B NPU 物理机，作为compute计算节点 注意 在集群创建过程中，“队列与计算节点” 页面的队列名称需设置为 batch（默认值）。 二、环境准备 2.1 配置管理节点参与计算任务 设置管理节点提供计算资源，可按以下步骤手动配置： 在管理节点修改调度器配置文件，在文件末尾添加以下信息（其中[管理节点名]需替换为集群管理节点的 hostname）： plaintext $ vim /opt/galaxy/scheduler/slurm/22.05.9.1/etc/slurm.conf ... NodeName[管理节点名] CPUs192 Boards2 SocketsPerBoard2 CoresPerSocket48 ThreadsPerCore1 RealMemory1546544 Gresgpu:910b2:8 在队列配置文件中，将集群管理节点的 hostname 添加到 Nodes 列表首位： plaintext $ vim /opt/galaxy/scheduler/slurm/22.05.9.1/etc/queueconfig PartitionNamebatch Defaultyes MaxTime1 StateUP PriorityTier40000 Nodes[管理节点名],compute001,compute002,compute003,compute004,compute005,compute006,compute007 将任意一台计算节点的/etc/default/gres.conf文件拷贝到管理节点的/etc/default/目录，示例命令如下（在管理节点执行）： plaintext $ scp compute0001:/etc/default/gres.conf /etc/default/ 在管理节点重启 slurm 服务： plaintext $ systemctl start slurmd $ systemctl enable slurmd $ systemctl restart slurmctld 检查管理节点是否已加入计算队列（例如查看 master001 是否在 batch 队列中，已加入的示例如下）： plaintext $ sinfo PARTITION AVAIL TIMELIMIT NODES STATE NODELIST batch up infinite 8 idle compute[001007],master001

参数 是否必填 参数类型 说明 示例 下级对象 unitCode 是 String 日志单元ID，可通过采集规则详情接口获取 579933c5795e ruleCode 是 String 采集规则ID，可通过采集规则详情接口获取 c660a5dc3792 logPaths 是 Array of Strings 待采集的日志文件路径列表（目前仅限1个路径）。路径中支持使用和 通配符，其中 通配符仅能出现一次且仅限用于文件名前 cuttingMode 是 String 提取模式，不同模式对应其他参数不同。1：单行正则；2：分隔符；3：多行正则；4：单行全文；5：json；6：多行全文；7：组合解析；8：nginx模板解析 1 extractMode 是 Byte 采集类型。1：云主机文本日志；2：云容器引擎标准输出；3：云容器引擎文本日志；4：syslog协议；5：物理机文本日志；6：windows事件日志；7：对象存储文件；8：Kafka数据导入；9：Systemd Journal日志；10：审计日志；11：k8s节点文件日志 1 accessType 是 Byte 接入类型。1：ccse；2：msap；3：csm；4：faas；5：msegw；6：ctgcache；7：kafka；8：mq2；9：amqp；10：host；11：mqtt；12：ebm；13： rcc；14：ossimport；15：kafkadata；16：auditimport；17：cceone；18：cae 10 firstLinePattern 否 String 首行正则，例如：d+d+d+sd+:d+:d+.d+s. customTime 否 Object 自定义时间戳提取格式 customTime

介绍分布式消息服务Kafka的新建消费组功能操作介绍。 场景描述 Kafka新建消费组的场景如下： 多个应用程序需要独立消费同一个主题：如果有多个应用程序需要从同一个Kafka主题中独立消费消息，并且每个应用程序需要管理自己的消费进度和分区分配，那么可以为每个应用程序创建一个独立的消费组。 消费者需要实现消息的负载均衡：当有多个消费者需要消费同一个主题的消息时，可以将它们加入同一个消费组，Kafka会自动将主题的分区均匀地分配给消费组中的消费者，实现消息的负载均衡。 消费者需要实现消息的并行处理：如果需要将一个主题的消息并行地处理，可以创建多个消费者实例，并将它们加入同一个消费组。Kafka会将主题的分区分配给消费组中的消费者，每个消费者只消费自己被分配的分区，从而实现消息的并行处理。 消费者需要实现高可用性：为了提高消费者的可用性，可以创建一个消费组，并将多个消费者实例加入该组。当一个消费者实例发生故障时，Kafka会将该消费者的分区重新分配给其他健康的消费者，从而保证消息的连续消费。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消费组管理”后进入消费组管理页面。 （5）点击“创建消费组”后，输入消费组名称，点击创建。 说明 消费组业务应用接入使用时客户端也可自动创建。

本节主要介绍Kafka客户端使用规范。 consumer使用规范 1、consumer的owner线程需确保不会异常退出，避免客户端无法发起消费请求，阻塞消费。 2、确保处理完消息后再做消息commit，避免业务消息处理失败，无法重新拉取处理失败的消息。 3、consumer不能频繁加入和退出group，频繁加入和退出，会导致consumer频繁做rebalance，阻塞消费。 4、consumer数量不能超过topic分区数，否则会有consumer拉取不到消息。 5、consumer需周期poll，维持和server的心跳，避免心跳超时，导致consumer频繁加入和退出，阻塞消费。 6、consumer拉取的消息本地缓存应有大小限制，避免OOM（Out of Memory）。 7、consumer session设置为30秒，session.timeout.ms30000。 8、Kafka不能保证消费重复的消息，业务侧需保证消息处理的幂等性。 9、消费线程退出要调用consumer的close方法，避免同一个组的其他消费者阻塞sesstion.timeout.ms的时间。 producer使用规范 1、同步复制客户端需要配合使用：acksall 2、配置发送失败重试：retries3 3、发送优化：linger.ms0 4、生产端的JVM内存要足够，避免内存不足导致发送阻塞 topic使用规范 配置要求：推荐3副本，同步复制，最小同步副本数为2，且同步副本数不能等于topic副本数，否则宕机1个副本会导致无法生产消息。 创建方式：支持选择是否开启kafka自动创建Topic的开关。选择开启后，表示生产或消费一个未创建的Topic时，会自动创建一个包含3个分区和3个副本的Topic。 单topic最大分区数建议为100。 topic副本数为3（当前版本限制，不可调整）。

每个 Topic 会有多个分区，每个分区会统计当前消息的总条数，这个称为最大位点 MaxOffset。Kafka Consumer 会按顺序依次消费分区内的每条消息，记录已经消费了的消息条数，称为ConsumerOffset。 剩余的未消费的条数（也称为消息堆积量） MaxOffset ConsumerOffset

创建实例时开启SASLSSL访问，则数据加密传输，安全性更高。 由于安全问题，支持的加密套件为TLSECDHEECDSAWITHAES128CBCSHA256，TLSECDHERSAWITHAES128CBCSHA256和TLSECDHERSAWITHAES128GCMSHA256。 本节介绍如何使用开源的Kafka客户端访问开启SASL的Kafka专享实例的方法。 说明： 使用SASL方式连接Kafka实例时，为了客户端能够快速解析实例的Broker，建议在客户端所在主机的“/etc/hosts”文件中配置host和IP的映射关系。 其中，IP地址必须为实例连接地址（Broker地址），host为每个实例主机的名称（您可以自定义主机的名称，但不能重复）。 例如： 10.154.48.120 server01 10.154.48.121 server02 10.154.48.122 server03 前提条件 已配置正确的安全组。 访问开启SASL的Kafka专享实例时，支持VPC内访问。实例需要配置正确的安全组规则，具体安全组配置要求，请参考表32。 已获取连接Kafka专享版实例的地址。 使用VPC内访问，实例端口为9093，实例连接地址获取如下图。 获取VPC内访问Kafka专享实例的连接地址（实例已开启SASL） Kafka专享实例已创建Topic，否则请提前创建Topic。 已下载client.truststore.jks证书。如果没有，在控制台单击Kafka实例名称，进入实例详情页面，在“基本信息 > 高级配置 > Kafka SASLSSL”所在行，单击 。下载压缩包后解压，获取压缩包中的客户端证书文件：client.truststore.jks。 已下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本，确保Kafka实例版本与命令行工具版本相同。 已在Kafka命令行工具的使用环境中安装Java Development Kit 1.8.111或以上版本，并完成环境变量配置。 命令行模式连接实例 以下操作命令以Linux系统为例进行说明。 解压Kafka命令行工具。 进入文件压缩包所在目录，然后执行以下命令解压文件。 tar zxf [kafkatar] 其中，[kafkatar]表示命令行工具的压缩包名称。 例如： tar zxf kafka2.111.1.0.tgz 修改Kafka命令行工具配置文件。 在Kafka命令行工具的“/config”目录中找到“consumer.properties”和“producer.properties”文件，并分别在文件中增加如下内容。 sasl.jaas.configorg.apache.kafka.common.security.plain.PlainLoginModule required username"" password""; sasl.mechanismPLAIN security.protocolSASLSSL ssl.truststore.location/opt/kafka2.111.1.0/config/client.truststore.jks ssl.truststore.passworddms@kafka ssl.endpoint.identification.algorithm 参数说明： username和password为创建Kafka专享实例过程中开启SASLSSL时填入的用户名和密码。 ssl.trustore.location配置为client.truststore.jks证书的存放路径。注意，Windows系统下证书路径中也必须使用“/”，不能使用Windows系统中拷贝路径时的“”，否则客户端获取证书失败。 ssl.truststore.password为服务器证书密码，不可更改，需要保持为dms@kafka。 ssl.endpoint.identification.algorithm为证书域名校验开关，为空则表示关闭。这里需要保持关闭状态，必须设置为空。 进入Kafka命令行工具的“/bin”目录下。 注意，Windows系统下需要进入“/bin/windows”目录下。 执行如下命令进行生产消息。 ./kafkaconsoleproducer.sh brokerlist ${连接地址} topic ${Topic名称} producer.config ../config/producer.properties 参数说明如下： 连接地址：从前提条件获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 如下示例，Kafka实例连接地址为“10.xxx.xxx.202:9093,10.xxx.xxx.197:9093,10.xxx.xxx.68:9093”。 执行完命令后，输入需要生产的消息内容，按“Enter”发送消息到Kafka实例，输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecskafka bin]

本章节主要介绍翼MapReduce的管理全局用户策略操作。 操作场景 如果租户配置使用Superior调度器，那么系统可以控制具体用户使用资源调度器的行为，包含： 最大运行任务数 最大挂起任务数 默认队列 操作步骤 添加策略 1. 在FusionInsight Manager，单击“租户资源”。 2. 单击“动态资源计划”页签。 3. 单击“全局用户策略”页签。 说明 defaults(default setting)表示如果一个用户未配置全局用户策略，则默认使用defaults所指定的策略。该策略不可删除。 4. 单击“添加全局用户策略”，在弹出窗口中填写以下参数。 集群：选择需要操作的集群。 用户名：表示需要控制资源调度的用户，请输入当前集群中已存在用户的名称。 最大运行任务数：表示该用户在当前集群中能运行的最大任务数量。 最大挂起任务数：表示该用户在当前集群中能挂起的最大任务数量。 默认队列：表示用户的队列，请输入当前集群中已存在队列的名称。 修改策略 1. 在FusionInsight Manager，单击“租户资源”。 2. 单击“动态资源计划”页签。 3. 单击“全局用户策略”页签。 4. 在指定用户策略所在行，单击“操作”列中的“修改”。 5. 调整相关参数后，单击“确定”。 删除策略 1. 在FusionInsight Manager，单击“租户资源”。 2. 单击“动态资源计划”页签。 3. 单击“全局用户策略”页签。 4. 在指定用户策略所在行，单击“操作”列中的“删除”。 在弹出窗口单击“确定”。

本章节主要介绍翼MapReduce服务的集群管理功能。 创建集群 支持用户在创建集群时，按需选择集群类型、组件范围、操作系统、主机类型、CPU类型、各类型的节点数、主机规格、可用区、VPC网络等配置。翼MR服务会根据用户选择的配置，帮助客户自动完成企业级大数据平台的安装部署和参数调优。 翼MR服务为客户提供完全可控的大数据集群，客户在创建时可设置主机的登录方式，所创建的翼MR集群资源完全归客户所用。 翼MR集群类型包括数据湖、数据分析、数据服务、云搜索、实时数据流、自定义集群 1. 数据湖集群：提供更高效、灵活的管理集群，更快地运行大数据的计算引擎，更好地提供数据分析能力。 2. 数据分析集群：Apache Doris开源的MPP架构的OLAP分析引擎，支持亚秒级的数据查询和多表join。 3. 数据服务集群：提供更灵活、可靠、高效的数据服务集群。 4. 云搜索集群：为结构化/非结构化数据提供低成本、高性能及可靠性的检索、分析服务能力。 5. 实时数据流集群：提供高效的流式计算、消息队列等组件能力，支持实时数据ETL和日志采集分析的业务需求。 6. 自定义集群：提供丰富灵活的服务搭配，支持自行选择业务所需服务。建议不要将多个存储类服务部署在一个节点组上，避免资源争抢。 翼MR集群节点类型包括master节点、core节点和task节点 1. master节点：集群中的管理节点，保证集群的调度正常进行；主要部署NameNode、ResourceManager、HMaster等进程。集群默认为HA模式，master节点数固定为3。该类型节点可以通过节点扩容、配置升级与磁盘扩容，以支持更大集群的管理。 2. core节点：集群中的计算及存储节点，主要部署DataNode、NodeManager、HRegionServer等进程。为满足存储数据量或计算量扩展的需求，支持配置升级、节点扩容、新增节点组与磁盘扩容。 3. task节点：集群中的纯计算节点，主要负责计算数据，不存储数据，支持配置升级、节点扩容、节点缩容、新增节点组与磁盘扩容。

本章节介绍Dubbo应用的服务列表和服务详情 概述 您可以通过微服务云应用平台查询部署的Dubbo应用的服务列表和服务详情。 查看服务列表 在左侧导航栏，Dubbo治理 > 服务查询。查看当前账号下的Dubbo服务。Dubbo服务支持查看服务名、应用名和实例数。如果服务较多，可以通过环境、服务名、应用名进行筛选或搜索，服务名和应用名大小写不敏感。 查看服务详情 在服务查询页面，单击服务名称查看服务的详细信息。服务详情面板包含基本信息、服务调用关系和元数据。 ● 基本信息 ● 服务调用关系 ● 元数据

介绍分布式消息服务Kafka与天翼云其他服务关系。 虚拟私有云(CTVPC ，Virtual Private Cloud) 虚拟私有云为分布式消息服务Kafka提供一个逻辑隔离的区域，构建一个安全可靠、 可配置和管理的虚拟网络环境。更多信息请参见虚拟私有云。 弹性云主机（CTECS，Elastic Cloud Server） 分布式消息服务Kafka订购后，默认按照用户选择的实例规格开通弹性云主机，云主机由 CPU、内存、镜像、云硬盘组成，同时结合VPC、安全组、数据多副本保存等能力，打造一个既高效又可靠安全的计算环境，确保分布式消息服务Kafka持久稳定运行。更多信息请参见弹性云主机。 云硬盘（CTEVS，Elastic Volume Service） 分布式消息服务Kafka订购后，默认按照用户选择的存储大小开通云硬盘。云硬盘是一种可弹性扩展的块存储设备，可以为分布式消息服务Kafka提供高性能、高可靠的块存储服务。更多信息请参见云硬盘。 弹性IP（Elastic IP，EIP） 弹性IP是可以独立申请的公网 IP 地址，包括公网IP地址与公网出口带宽服务。可以与分布式消息服务Kafka动态绑定和解绑，实现云资源的互联网访问。针对需要公网访问分布式消息服务Kafka实例的需求，用户可开通弹性IP后，在Kafka实例开通页面进行绑定。更多信息请参见弹性IP。

介绍分布式消息服务RabbitMQ变更配置内容。 当需要处理大量消息时，RabbitMQ实例的扩容是一种常见的解决方案。扩容可以增加RabbitMQ集群的吞吐量、存储能力和高可用性。分布式消息服务RabbitMQ提供三类扩容方案，分别为节点、规格和磁盘扩容，更好满足用户不同场景下的扩容需求。 节点扩容：指向RabbitMQ集群中添加更多的节点以增加系统的吞吐量和可靠性。通过扩容，可以将消息的发送和消费负载分摊到更多的节点上，从而提高系统的并发处理能力。 规格扩容：指通过增加RabbitMQ的资源配置来提升系统的处理能力和性能。 磁盘扩容：指增加磁盘的存储容量，以满足更多消息的存储需求。

本章节介绍MSE Nacos SDK的应用以及相关限制因素 概述 MSE Nacos 适用于各种微服务业务系统和应用场景，既可以单独使用也可以与微服务云应用平台、云容器引擎、应用服务网格等组合使用。为了您服务的稳定性，需要注意一些限制。本文介绍MSE Nacos SDK的应用以及相关的限制因素。 SDK的应用 如果您使用的技术栈是Java，既可以通过开源的Nacos客户端 SDK，也可以通过集成Spring Cloud、Dubbo等框架集成Nacos客户端访问Nacos实例，实现服务注册发现和配置管理；如果您业务使用的技术栈是Go、C++、Python、Nodejs，也可以通过开源客户端或者相关框架，访问 Nacos实例。另外， Nacos作为微服务系统的核心组件之一，也可以与服务网格和微服务网关、服务治理等组件整合使用，为云原生应用开发者提供更强大的能力。 技术栈 原生SDK 框架（Spring Boot） 框架（Spring Cloud） Java Naocs提供Java SDK 连接实例。 Spring Boot框架的接入方案请参考章节：Nacos Spring Boot快速接入 Spring Cloud框架的接入方案请参考章节：如何在MSE上为Spring Cloud应用构建服务注册中心？ SDK的使用限制 Java 不推荐的版本 不推荐原因 解决方案 0.X ~ 1.3.X 版本陈旧，影响性能。 升级至1.4.3及以上版本。 小于1.2.0 该部分版本不支持username和password注入，即不支持鉴权。 升级至1.4.3及以上版本。 1.3.3 该版本客户端不支持在密码中使用特殊字符。 升级至1.4.3及以上版本。 1.4.0 ~ 1.4.2 1.4.2版本使用配置加解密功能时，getConfigAndSignListener接口查询加密配置时返回内容为明文。 升级至1.4.3及以上版本。