本文介绍Redis实例的发布订阅(pubsub)注意事项 订阅和发布的顺序：在使用 Redis 的发布订阅功能时，订阅者（Subscriber）必须先订阅频道（Channel）才能接收到发布者（Publisher）发送的消息。如果先发布消息而没有订阅者监听该频道，那么消息将会丢失。因此，在使用发布订阅功能时，要确保订阅者在发布者发送消息之前已经成功订阅了频道。 异步处理：Redis 的发布订阅功能是异步的，即发布者发送消息后，订阅者可能不会立即接收到消息。这是因为订阅者与发布者之间存在网络延迟和处理时间。因此，在订阅消息后，订阅者需要以异步方式处理接收到的消息，并考虑可能出现的延迟。 取消订阅：当不再需要接收某个频道的消息时，订阅者应该主动取消订阅，以减少不必要的网络开销和资源消耗。可以使用 UNSUBSCRIBE 命令取消订阅指定频道，或使用 PUNSUBSCRIBE 命令取消订阅所有频道。 频道命名规范：在定义频道名称时，要注意选择有意义且易于区分的名称。频道名称可以是字符串，但最好遵循一定的命名规范，以免产生混淆或错误地订阅了不正确的频道。 安全性考虑：Redis 的发布订阅功能是公开的，任何连接到 Redis 的客户端都可以订阅频道并接收消息。因此，要特别注意在敏感信息传输或涉及安全性的场景中使用发布订阅功能，并考虑适当的安全措施，例如使用认证和加密等方式来保护数据的安全性。

本章节介绍ZooKeeper常用的技术应用场景以及优势 ZooKeeper 常用的技术应用场景如下所述。 场景一：分布式协调 分布式锁 ：在分布式环境中，程序都在独立的节点上，分布式锁是控制分布式系统之间同步访问共享资源的一种方式，分布式锁主要有如下2种类型： 独占锁：主要实现原理是利用ZooKeeper在一个具体路径下每个进程创建一个有序的临时节点，每个进程会判断自己的节点是否序号最小的节点，如果是则获得锁，如果不是则创建一个监听等待前一个序号小的临时节点释放锁。 共享锁：共享锁可以支持多个进程同时获取这把锁进行读操作，但是如果某个进程要获取写操作的权限，那么在写操作之前是没有读操作的数据，并且该进程是第一个获取到写操作类型锁的。 分布式队列 ：队列功能可以利用ZooKeeper的有序节点，实现先进先出（First Input First Output，简称FIFO）的分布式队列，即先进入队列的先被消费，后加入队列的后被消费。在创建znode时开启sequence 和 ephemeral模式，则被创建的节点结尾是一个递增的值，且不会重复。 场景二：配置中心 运用ZooKeeper的存储模式，实现配置信息的集中管理和数据的动态更新，保证了配置数据的一致性和实时性。

保证数据安全和访问安全 多租户场景下，分开存放不同租户的数据，以保证数据安全；控制用户对租户资源的访问权限，以保证访问安全。 调度器增强 多租户根据调度器类型分为开源的Capacity调度器和自主研发的增强型Superior调度器。为满足企业需求，克服Yarn社区在调度上遇到的挑战与困难，自主研发的Superior调度器，不仅集合了当前Capacity调度器与Fair调度器的优点，还做了以下增强： 增强资源共享策略 Superior调度器支持队列层级，在同集群集成开源调度器的特性，并基于可配置策略进一步共享资源。针对实例，管理员可通过Superior调度器为队列同时配置绝对值或百分比的资源策略计划。Superior调度器的资源共享策略将YARN的标签调度增强为资源池特性，YARN集群中的节点可根据容量或业务类型不同，进行分组以使队列更有效地利用资源。 基于租户的资源预留策略 部分租户可能在某些时间中运行关键任务，租户所需的资源应保证可用。Superior调度器构建了支持资源预留策略的机制，在这些租户队列运行的任务可立即获取到预留资源，以保证计划的关键任务可正常执行。 租户和资源池的用户公平共享 Superior调度器提供了队列内用户间共享资源的配置能力。每个租户中可能存在不同权重的用户，高权重用户可能需要更多共享资源。

配置资源 配置队列及任务优先级，如果还未创建队列，请参考“创建队列”相关的文档，创建完成之后点击 “创建队列” 旁边的刷新按钮再进行队列选择。 按需配置CPU、内存、GPU、NPU资源。 其他配置 root用户启动：如果关闭了 “工作空间目录配置” 选项可以选择将root用户启动关闭，将使用非root用户启动容器。 模型分析：打开模型分析时，会在创建开发机时自动创建TensorBoard服务，模型分析配置会自动关联前面数据集配置中已选择的私有数据集（仅支持配置私有数据集，公共数据集具有只读权限无法进行文件写入），可以选择不打开模型分析，后续再单独创建。 环境变量按需进行配置。 点击创建。 远程访问 查看开发机列表 等待新建开发机的“访问”按钮可点击后，访问提示信息中的链接，先选择资源池信息，然后配置“弹性负载均衡>访问策略组”，修改isuitenotebookacl策略组的配置（默认只放开了127.0.0.1地址），需要增加本地客户端的出口IP配置。 获取本机出口IP的方式可通过百度搜索“ip地址”进行查询。 配置完成后回到“智算套件>AI应用开发”控制台，点击对应开发机的 “访问” 按钮即可访问该开发机，工作空间会显示持久化存储中保存的文件等。

配置资源 配置队列及任务优先级，如果还未创建队列，请参考“创建队列”相关的文档，创建完成之后点击 “创建队列” 旁边的刷新按钮再进行队列选择。 按需配置CPU、内存、GPU、NPU资源。 其他配置 root用户启动：如果关闭了 “工作空间目录配置” 选项可以选择将root用户启动关闭，将使用非root用户启动容器。 模型分析：打开模型分析时，会在创建开发机时自动创建TensorBoard服务，模型分析配置会自动关联前面数据集配置中已选择的私有数据集（仅支持配置私有数据集，公共数据集具有只读权限无法进行文件写入），可以选择不打开模型分析，后续再单独创建。 环境变量按需进行配置。 点击创建。 远程访问 查看开发机列表。 等待新建开发机的“访问”按钮可点击后，访问提示信息中的链接，先选择资源池信息，然后配置“弹性负载均衡>访问策略组”，修改isuitenotebookacl策略组的配置（默认只放开了127.0.0.1地址），需要增加本地客户端的出口IP配置。 获取本机出口IP的方式可通过百度搜索“ip地址”进行查询。 配置完成后回到“智算套件>AI应用开发”控制台，点击对应开发机的“访问”按钮即可访问该开发机，工作空间会显示持久化存储中保存的文件等。

参数名称 说明 行动规则名称 行动规则的名称，只能由数字、字母、下划线组成，且不能以下划线开头和结尾，长度为3到36个字符。 描述 行动规则的描述。 行动规则类型 告警行动规则与SMN主题、消息模板关联的类型，请从下拉列表中选择。当前只支持“通知”类型。 主题 SMN主题，请从下拉列表中选择。若没有合适的主题，请单击主题选择栏下方“创建主题”，在SMN界面创建。 消息模板 通知消息的模板，请从下拉列表中选择。若没有合适的消息模板，请单击消息模板选择栏右侧“创建消息模板”，新建消息模板。

介绍APM监控详情里消息监控中的RabbitMqConsumer相关指标的名称、含义等信息。 RabbitMqConsumer监控指标说明表 指标类别 指标 指标说明 数据类型 异常 exceptionstacktrace 异常产生的堆栈信息 String 异常 exceptiontype 异常类型 String 异常 exceptioncount 错误数 Int 推模式消费维度监控 messageerrorcount 消费消息的错误次数 Int 推模式消费维度监控 ms0To10Count 010ms次数 Int 推模式消费维度监控 ms10To100Count 10100ms次数 Int 推模式消费维度监控 ms100To500Count 100500ms次数 Int 推模式消费维度监控 ms500To1000Count 5001000ms次数 Int 推模式消费维度监控 ms1000To10000Count 110s次数 Int 推模式消费维度监控 msMorethan10000Count 10s以上次数 Int 推模式消费维度监控 messagecount 调用次数 Int Connection监控 notacknowledgedpublished 该连接中未确认的消息数 Int Total监控 messageerrorcount 消费消息的错误次数 Int Total监控 messagecount 消费消息数 Int Total监控 messagetotalpayload 消费字节数 Int Total监控 Max(messagetotalpayload) 单次消费最大字节数 Int Total监控 acknowledged Ack消息数 Int Total监控 rejected Reject消息数 Int Total监控 ms0To10Count 010ms次数 Int Total监控 ms10To100Count 10100ms次数 Int Total监控 ms100To500Count 100500ms次数 Int Total监控 ms500To1000Count 5001000ms次数 Int Total监控 ms1000To10000Count 110s次数 Int Total监控 msMorethan10000Count 10s以上次数 Int Total监控 notacknowledgedpublished 未确认的消息数 Int Total监控 messagemaxcost 最大响应时间 Int Total监控 sum(messagecost) 消费消息的总响应时间 Int

告警策略模板 1. 登录ECX控制台，点击【服务管理>告警管理>告警模板】。 2. 点击【+创建告警模板】可以创建告警策略模板。 3. 通过创建告警策略模板，可以在创建告警策略时，选择对应的模板，快速创建告警策略。 告警消息 1. 登录ECX控制台，点击【服务管理>告警管理>告警消息】。 2. 告警消息版块可以查看所有的告警消息。 3. 如果触发告警的问题已修复，可以对告警消息点击【处理】，告警消息将被标记为【已恢复】。

工作空间 工作空间（Workspace）属于态势感知（专业版）顶层工作台，单个工作空间可绑定普通项目、企业项目和Region，可支撑不同场景下的工作空间运营模式。 数据空间 数据空间是进行数据分组、负载、流控单元。同一数据空间的数据共享同一负载均衡策略。 数据管道 数据传输消息主题和存储索引组合为数据管道。

本章节主要介绍ALM24004 Flume读取数据异常的告警。 告警解释 告警模块对Flume Source的状态进行监控，当Source读取不到数据的时长超过阈值时，系统即时上报告警。 默认阈值为0，表示不开启。用户可通过conf目录下的配置文件properties.properties修改阈值：修改对应source的“NoDatatime”参数。 当Source读取到数据，且告警处理完成时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 24004 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 主机名 产生告警的主机名。 AgentId 产生告警的Agent id。 部件类型 产生告警的元素类型。 部件名 产生告警的元素名称。 对系统的影响 如果数据源有数据，Flume Source持续读取不到数据，数据采集会停止。 可能原因 Flume Source故障，导致数据无法发送。 网络故障，导致数据无法发送。 处理步骤 检查Flume Source是否故障 1.本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“type spooldir”关键字确认Flume Source是否是spooldir类型。 是，执行步骤2。 否，执行步骤3。 2.查看设置的spoolDir监控目录，是否所有的文件均已传输完毕。 是，处理完毕。 否，执行步骤5。 说明 spooDir的监控目录为用户自定义配置文件properties.properties中.spoolDir的参数值。若监控目录文件已传输完毕，则该监控目录下的所有文件以.COMPLETED后缀结尾。 3.本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“org.apache.flume.source.kafka.KafkaSource”关键字确认Flume Source是否是Kafka类型。 是，执行步骤4。 否，执行步骤7。 4.查看Kafka Source配置的topic数据是否已经消费完毕。 是，处理完毕。 否，执行步骤5。 5.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Flume > 实例”。 6.单击进入故障节点的Flume实例页面，查看监控指标“Source速度指标”，检查告警中的Source速度是否为0。 是，执行步骤11。 否，执行步骤步骤7。

配置项 说明 队列名称 长度115个字符，仅支持数字、英文字母或下划线，必须以英文字母为首，不支持default及其大写变形。 计算节点规格 选择计算节点的规格。 镜像 选择计算节点的镜像。 注：该镜像为弹性高性能计算平台定制镜像，请优先保持集群同一镜像。 计算节点硬盘 选择计算规格所对应的磁盘。 根据需求选择计算节点的云硬盘类型和容量。 子网 1.选择子网，建议同一个队列保持子网一致。 2.普通子网可绑定云主机与弹性裸金属，标准裸金属子网仅限用于绑定标准裸金属，后台已根据您所选的规格为您自动过滤子网类型。 计算节点数量 选择该队列下的计算节点数量。

参数名称 描述 用户名 被授权的用户名称。 说明 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 权限设置 更新：当前用户可更新弹性资源池的描述信息。 资源管理：当前用户可在弹性资源池上添加队列、删除队列、操作队列的扩缩容策略配置。 删除：当前用户可删除此弹性资源池。 赋权：当前用户可将弹性资源池的操作权限赋予其他用户。 回收：当前用户可回收其他用户具备的该弹性资源池的权限，但不能回收该弹性资源池所有者的权限。 查看其他用户具备的权限：当前用户可查看其他用户具备的该弹性资源池的权限。

前提条件 只有当实例状态为“运行中”时才可以进行重启操作。 注意：重启过程中，实例将会有短暂时间停止服务。 操作步骤 1. 登录管理控制台。 2. 进入Kafka管理控制台。 3. 在实例列表页的操作列，目标实例行点击“更多”按钮。 4. 在下拉框内点击“重启”按钮。 5. 点击弹框内的“确认”按钮完成操作，实例状态变为“重启中”。 6. 等待一段时间后，重启成功实例恢复运行状态，否则状态为“重启失败”。

开发机资源配置 配置队列及任务优先级，如果还未创建队列，请参考“创建队列”相关的文档，创建完成之后点击 “创建队列” 旁边的刷新按钮再进行队列选择。 按需配置CPU、内存、GPU、NPU资源。 其他配置 root用户启动：如果关闭了 “工作空间目录配置” 选项可以选择将root用户启动关闭，将使用非root用户启动容器。 模型分析：打开模型分析时，会在创建开发机时自动创建TensorBoard服务，模型分析配置会自动关联前面数据集配置中已选择的私有数据集（仅支持配置私有数据集，公共数据集具有只读权限无法进行文件写入），可以选择不打开模型分析，后续再单独创建。 环境变量按需进行配置。 点击创建。 开发机远程访问 查看开发机列表 等待新建开发机的“访问”按钮可点击后，访问提示信息中的链接，先选择资源池信息，然后配置“弹性负载均衡>访问策略组”，修改isuitenotebookacl策略组的配置（默认只放开了127.0.0.1地址），需要增加本地客户端的出口IP配置。 获取本机出口IP的方式可通过百度搜索“ip地址”进行查询。 配置完成后回到“智算套件>AI应用开发”控制台，点击对应开发机的 “访问” 按钮即可访问该开发机，工作空间会显示持久化存储中保存的文件等。

本文为您介绍分布式消息服务MQTT 的入门指引。 本章节将为您介绍分布式消息服务MQTT入门的基本流程，主要包括环境准备、创建实例、连接实例及消息收发，帮助您快速上手MQTT。 操作流程 步骤说明 1.环境准备 创建MQTT实例先要准备好虚拟私有云、子网和安全组，可选弹性公网IP。 2.创建实例 在订购分布式消息MQTT填写和确认实例名称、计费模式等信息，确认费用后点击下一步，等待开通流程结果通知成功后完成创建实例。 3.连接实例 创建用户密码、父主题等管理信息，对用户进行主题授权，绑定弹性IP，终端设备和云端应用通过MQTT客户端接入。 4.消息收发 使用MQTT SDK接入终端连接地址进行消息生产消费。

可选权限 是否需要审批 中文名称 im:message.groupmsg 免审权限 获取群组中所有消息（敏感权限） im:message:readonly 免审权限 获取单聊、群组消息 im:message:update 免审权限 更新消息 im:message:recall 免审权限 撤回消息 im:message.reactions:read 免审权限 查看消息表情回复

场景描述 RocketMQ中的Topic一旦创建后，通常是不允许直接修改的。因为Topic的配置信息会对消息的发送和消费产生影响，直接修改Topic可能导致消息的发送和消费出现问题。 然而，有时候可能会遇到需要修改Topic配置的场景，以下是一些可能的场景描述： 扩展Topic的分区数量：当Topic的消息量增加，原有的分区数量可能无法满足需求时，可以考虑扩展Topic的分区数量。通过修改Topic的配置，增加分区数量，可以提高消息的并发处理能力和负载均衡性能。 修改Topic的生产模式，可能会对消息的发送和消费产生影响，生产模式决定了消息发送的方式和策略，直接修改可能会导致消息发送和消费的异常。 修改Topic的读写权限，需要考虑到消费者和生产者的配置，以确保它们能够正确地读写Topic。 修改Topic备注，用户按照业务需要修改注意备注。 需要注意的是，修改Topic的配置可能会对消息的发送和消费产生影响，因此在进行修改之前，需要谨慎评估和测试，确保不会对现有的消息系统造成不可逆的影响。在实际操作中，建议在创建Topic时就根据业务需求进行充分的规划和配置，避免频繁修改Topic的配置。 操作步骤 1、进入Topic管理菜单，在Topic列表点击【编辑】按钮，进入编辑Topic窗口。 2、Topic修改时，不能修改集群、broker、topic名称；可以修改分区数、读写权限、备注；

本文为您介绍分布式消息服务MQTT的操作指南连接查询。 分布式消息服务MQTT提供按 Client ID 查询客户端的连接信息和订阅关系，进行剔除（下线）和主题退订操作。 操作步骤 1、 天翼云官网点击控制中心，选择产品分布式消息服务MQTT。 2、 登录分布式消息服务MQTT控制台，点击右上角地域选择对应资源池。 3、 进入实例列表，点击【管理】按钮进入管理菜单。 4、 进入连接查询菜单页面，输入Client ID，点击查询按钮。 5、 展示客户端的连接信息和订阅关系，支持剔除（下线）和主题退订操作。 查询结果 ClientID：一个在客户端连接到MQTT代理（MQTT broker）时分配的唯一标识符，用于标识特定的MQTT客户端。 客户端IP：客户端的IP地址。 连接协议：MQTT协议。 连接时间：指客户端与MQTT代理（MQTT broker）之间建立和维护连接的时间。 cleanSession： MQTT 协议中一个重要的连接选项，用于定义客户端与 MQTT 代理（broker）之间的会话保持行为。这个选项决定了当客户端重新连接到代理时，是否应该恢复之前的会话状态。 认证用户：认证授权模块创建的用户。 当前订阅数：指当前连接到MQTT代理的客户端数量，这些客户端已经发送了订阅请求并成功订阅了一个或多个主题。每个订阅都占用一个资源，因此订阅数可以反映出代理的负载和资源使用情况。 发送消息数：在MQTT代理（broker）上发布或传输的消息数量。这个指标反映了在特定时间段内从一个或多个发布者发送到MQTT代理并通过代理传递到一个或多个订阅者的消息数量。发送消息数通常用于衡量MQTT通信的活动水平和负载。 接收消息数：MQTT代理（broker）上接收并传递给订阅者（Subscriber）的消息数量。这个指标表示了在特定时间段内，MQTT代理成功接收到的消息数量，然后将这些消息传递给相应的订阅者。 是否在线：客户端是否在线，支持剔除下线操作。 连接断开时间：客户端与服务器之间的连接保持（Keep Alive）时间。在MQTT中，客户端和服务器之间的连接是通过心跳机制来保持的，以确保连接的活跃性和可靠性。

参数 参数说明 区域 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。 集群名称 集群名称不允许重复。 只能由字母、数字、中划线和下划线组成，并且长度为1～64个字符。 默认名称为mrsxxxx，xxxx为字母和数字的四位随机组合数，系统自动组合。 集群版本 当前版本为MRS 3.1.0。 集群类型 提供几种集群类型： 分析集群：用来做离线数据分析，提供的是Hadoop体系的组件。 流式集群：用来做流处理任务，提供的是流式处理组件。 混合集群：既可以用来做离线数据分析，也可以用来做流处理任务，提供的是Hadoop体系的组件和流式处理组件。建议同时需要做离线数据分析和流处理任务时使用混合集群。 自定义：用户可按照业务需求调整集群服务的部署方式，具体请参见 说明 MRS流式集群不支持“作业管理”和“文件管理”功能。如需在集群中安装全部组件，请选择“自定义”类型集群。 组件选择 MRS配套的组件如下： 分析集群组件 Presto：开源、分布式SQL查询引擎。 Hadoop：分布式系统基础架构。 Spark：内存分布式系统框架。（MRS 3.x版本不支持） Spark2x：Spark2x是一个对大规模数据处理的快速和通用引擎,基于开源Spark2.x版本开发。（仅MRS 3.x版本支持） Hive：建立在Hadoop上的数据仓库框架。 HBase：分布式列数据库。 Tez：提供有向无环图的分布式计算框架。 Hue：提供Hadoop UI能力，让用户通过浏览器分析处理Hadoop集群数据。 Loader：基于开源sqoop 1.99.7开发，专为Apache Hadoop和结构化数据库（如关系型数据库）设计的高效传输大量数据的工具。（MRS 3.x版本不支持） Hadoop为必选组件，且Spark与Hive组件需要配套使用。请根据业务选择搭配组件。 Flink：分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。 Oozie：Hadoop作业调度系统。（仅MRS 3.x版本支持） HetuEngine：HetuEngine是一个同异构大数据集的分布式SQL查询引擎。（仅MRS 3.1.x LTS版本支持） Ranger：一个基于Hadoop平台监控和管理数据安全的框架。 Impala：一种处理大量数据的SQL查询引擎。 ClickHouse：ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。CPU架构为鲲鹏计算的ClickHouse集群表引擎不支持使用HDFS和Kafka。 Kudu：一种列存储管理器。 流式集群组件 Kafka：提供分布式消息订阅的系统。 Flume：提供分布式、高可用、高可靠的海量日志采集、聚合和传输系统。 ZooKeeper：一个集中的服务，它用于维护配置信息、命名、提供分布式的同步和提供分组服务。（仅MRS 3.x版本支持） Ranger：一个基于Hadoop平台监控和管理数据安全的框架。（仅MRS 3.x版本支持） 元数据 是否使用外部数据源存储元数据。 本地元数据： 元数据存储在集群本地。 数据连接：使用外部数据源元数据，若集群异常或删除时将不影响元数据，适用于存储计算分离的场景。 支持Hive或Ranger组件的集群支持该功能。 组件名 当“元数据”选择“数据连接”时该参数有效。用于表示可以设置外部数据源的组件类型。 Hive Ranger 数据连接类型 当“元数据”选择“数据连接”时该参数有效。用于表示外部数据源的类型。 Hive组件支持的数据连接类型： − RDS服务MySQL数据库− 本地数据库 Ranger组件支持的数据连接类型： − RDS服务MySQL数据库− 本地数据库 数据连接实例 当“数据连接类型”选择“RDS服务MySQL数据库”时，该参数有效。用于表示MRS集群与RDS服务数据库连接的名称，该实例必选先创建才能在此处引用。可单击“创建数据连接”进行创建，具体请参考

介绍分布式消息服务RabbitMQ与天翼云其他服务关系。 虚拟私有云(CTVPC，Virtual Private Cloud) 虚拟私有云为分布式消息服务RabbitMQ提供一个逻辑隔离的区域，构建一个安全可靠、 可配置和管理的虚拟网络环境。更多信息请参见虚拟私有云。 弹性云主机（CTECS，Elastic Cloud Server） 分布式消息服务RabbitMQ订购后，默认按照用户选择的实例规格开通弹性云主机，云主机由 CPU、内存、镜像、云硬盘组成，同时结合VPC、安全组、数据多副本保存等能力，打造一个既高效又可靠安全的计算环境，确保分布式消息服务RabbitMQ持久稳定运行。更多信息请参见弹性云主机。 云硬盘（CTEVS，Elastic Volume Service） 分布式消息服务RabbitMQ订购后，默认按照用户选择的存储大小开通云硬盘。云硬盘是一种可弹性扩展的块存储设备，可以为分布式消息服务RabbitMQ提供高性能、高可靠的块存储服务。更多信息请参见云硬盘。 弹性IP（Elastic IP，EIP） 弹性IP是可以独立申请的公网 IP 地址，包括公网IP地址与公网出口带宽服务。可以与分布式消息服务RabbitMQ动态绑定和解绑，实现云资源的互联网访问。针对需要公网访问分布式消息服务RabbitMQ实例的需求，用户可开通弹性IP后，在RabbitMQ实例开通页面进行绑定。更多信息请参见弹性IP。

系统技术栈版本名称 技术栈类型 部署方式 1.0.0j180jar SPRINGCLOUD Ecs部署、容器部署 1.0.0j180t818war SPRINGCLOUD Ecs部署、容器部署 1.0.0j180jar DUBBO Ecs部署、容器部署 1.0.0j180t818war DUBBO Ecs部署、容器部署 1.24.0staticresourcetar STATICRESOURCE Ecs部署 1.0.0staticresourceimage STATICRESOURCE 容器部署 1.0.0j180t704jar TONGWEB 容器部署 1.0.0j180t704war TONGWEB 容器部署 1.0.0phpimage PHP 容器部署 1.0.0rocketMqimage ROCKETMQ 容器部署 1.0.0postgreSqlimage POSTGRESQL 容器部署 1.0.0zookeeperimage ZOOKEEPER 容器部署 1.0.0mongoDbimage MONGODB 容器部署 1.0.0nginximage NGINX 容器部署 1.0.0nodeJsimage NODEJS 容器部署 1.0.0mysqlimage MYSQL 容器部署 1.0.0redisimage REDIS 容器部署 1.0.0kafkaimage KAFKA 容器部署 1.0.0oracleimage ORACLE 容器部署 1.0.0hadoopimage HADOOP 容器部署 1.0.0springBootimage SPRINGBOOT 容器部署 1.0.0tomcatimage TOMCAT 容器部署 1.0.0pythonimage PYTHONRUNTIME 容器部署 1.0.0goimage GO 容器部署 1.0.0cimage C 容器部署 1.0.0c++image C++ 容器部署 1.0.0cimage C 容器部署

本节介绍如何快速连接RocketMQ并生产和消费消息。 本章节将为您介绍分布式消息服务RocketMQ（以下简称RocketMQ）入门的使用流程，以创建一个开启SSL的RocketMQ实例，客户端使用内网通过同一个VPC连接RocketMQ实例生产消费消息为例，帮助您快速上手RocketMQ。 1. 在ECS环境中进入“rocketmqtutorial/bin”目录。 plaintext cd rocketmqtutorial/bin 2. 运行生产普通消息命令。 命令示例如下： plaintext JAVAOPTDtls.enabletrue sh mqadmin sendMessage n "10.xxx.xxx.89:8100;10.xxx.xxx.144:8100" t Topic01 p "hello rocketmq" 10.xxx.xxx.89:8100;10.xxx.xxx.144:8100：表示RocketMQ实例的“连接地址”，即11中记录的连接地址。 Topic01：表示RocketMQ实例下创建的Topic名称，即4中创建的Topic名称。 hello rocketmq：表示生产消息的内容，可自定义。 3. 运行消费普通消息命令。 命令示例如下： plaintext JAVAOPTDtls.enabletrue sh mqadmin consumeMessage n "10.xxx.xxx.89:8100;10.xxx.xxx.144:8100" t Topic01 如上图中BODY显示的内容即为消费消息的内容。 如需停止消费使用Ctrl+C命令退出。

本章节主要介绍使用TPCH样例模板开发并提交Spark SQL作业。 为了便捷快速的执行SQL操作，DLI支持定制模板或将正在使用的SQL语句保存为模板。保存模板后，不需编写SQL语句，可通过模板直接执行SQL操作。 当前系统提供了多条标准的TPCH查询语句模板，可以根据当前需求选择使用。本样例演示通过一个TPCH样例模板开发并提交Spark SQL作业的基本流程： 操作步骤 1.登录DLI管理控制台。 2.在DLI管理控制台，选择“作业模板”>“SQL模板”>“样例模板”，在“tpchQuery”下找到“Q1价格摘要报告查询”样例模板，单击操作列的“执行”进入“SQL编辑器”。 3.在“SQL编辑器”页面右侧的编辑窗口上方，“执行引擎”选择“spark”，“队列”选择“default”，“数据库”选择“default”，单击“执行”。 4.SQL作业编辑窗口下方“查看结果”页签查看查询结果。 本示例使用系统预置的“default”队列和数据库进行演示，也可以在自建的队列和数据库下执行。 创建队列请参考《数据湖探索用户指南》>《创建队列》。创建数据库请参考《数据湖探索用户指南》下的“数据管理 > 库表管理 > 创建数据库和表”。

场景描述 在RocketMQ中，修改订阅组的场景可以有以下几种情况： ● 增加或减少消费者：当需要增加或减少订阅组中的消费者数量时，可以通过修改订阅组来实现。例如，当消息量增加时，可以增加消费者数量以提高消费能力；当消费者数量过多时，可以减少消费者数量以降低资源消耗。 ● 修改消费策略：订阅组中的消费者可以采用不同的消费策略，如集群模式或广播模式。集群模式下，每个消息只会被订阅组中的一个消费者消费；广播模式下，每个消息会被订阅组中的所有消费者都消费一次。通过修改订阅组，可以更改消费策略以满足不同的业务需求。 ● 调整消费进度：订阅组中的消费者可以通过消费进度来记录已经消费的消息位置。当需要重新消费某些消息或调整消费的起始位置时，可以修改订阅组中各个消费者的消费进度。 ● 修改消费者参数：订阅组中的消费者可以设置一些参数，如消费线程数、消息拉取策略等。通过修改订阅组，可以对消费者的参数进行调整，以优化消费性能和资源利用。 需要注意的是，修改订阅组时需要确保订阅组的唯一性，避免与其他订阅组冲突。同时，修改订阅组可能会影响消息的分发和消费进度，需要谨慎操作，避免消息丢失或重复消费的问题。 总之，通过修改订阅组，可以灵活调整消费者数量、消费策略、消费进度和消费者参数，以满足不同的业务需求和优化消费性能。

介绍分布式消息服务RabbitMQ变更配置内容。 当需要处理大量消息时，RabbitMQ实例的扩容是一种常见的解决方案。扩容可以增加RabbitMQ集群的吞吐量、存储能力和高可用性。分布式消息服务RabbitMQ提供三类扩容方案，分别为节点、规格和磁盘扩容，更好满足用户不同场景下的扩容需求。 节点扩容：指向RabbitMQ集群中添加更多的节点以增加系统的吞吐量和可靠性。通过扩容，可以将消息的发送和消费负载分摊到更多的节点上，从而提高系统的并发处理能力。 规格扩容：指通过增加RabbitMQ的资源配置来提升系统的处理能力和性能。 磁盘扩容：指增加磁盘的存储容量，以满足更多消息的存储需求。

本文介绍如何在事件总线EventBridge控制台添加分布式消息服务MQTT作为事件流中的事件提供方。 前提条件 事件总线EventBridge 开通事件总线EventBridge并委托授权。 分布式消息服务MQTT 开通分布式消息服务MQTT。 操作步骤 1. 登录事件总线控制台。 2. 在左侧导航栏，单击事件流。 3. 在事件流页面，单击创建事件流。 4. 在事件源（Source） 配置面板，事件提供方 选择分布式消息MQTT，选择或填入主题等配置然后单击确认，如图1所示。 图1 创建事件流时分布式消息服务MQTT作为流的事件提供方 参数说明 参数 说明 示例 MQTT实例 选择MQTT实例。 instancexxx MQTT主题 选择或输入MQTT的主题。 topicxxx 事件示例 plaintext { "id":"b5771f766cdf48edb1bad15418c", "source":"ctyun:mqtt", "specversion":"1.0", "type":"mqtt:Topic:SendMessage", "subject":"ctyun:mqtt:bb9fdb421610242ac110002:16789:topic/topictest", "time":"20240305T13:52:18.374Z", "datacontenttype":"application/json", "data":{ "body":{ "key": "value" }, "props": { "topic": "topictest" } }, "ctyunaccountid":"16789", "ctyunregion":"bb9fdb421610242ac110002", } data 字段包含的参数解释如下表所示。 参数 类型 示例值 描述 props Object {"topic":"topictest"} 消息属性。 body Object {"key":"value"} 消息体，默认以JSON格式编码。

操作步骤 1. 登录媒体存储控制台，进入【告警管理告警配置】菜单页面，列表展示为目前配置的告警规则。 2. 可在列表对指定的规则进行修改、下线或删除操作。 注意 编辑规则时，规则名称、监控维度、监控区域、监控Bucket不可修改。 如规则存在未恢复或未处理的告警消息，则该规则暂无法修改，请等待告警恢复或忽略告警信息后再修改。 查看告警消息 用户可参考以下说明，通过控制台查看告警消息。 操作步骤 1. 登录媒体存储控制台，进入【告警管理告警消息】菜单页面，在【告警列表】标签页可查看告警消息。 2. 可在告警列表查看指定的告警消息详情或进行【忽略告警】操作。 3. 告警列表仅展示最近30天的告警消息。 4. 【历史推送】标签页展示近30天的告警信息所关联的历史推送记录，每推送一次为一条记录。

AMQProxy是一款开源AMQP代理服务，具备复用AMQP Connection的能力。可以通过该代理服务使原本只能使用短连接的客户端（例如PHP客户端）使用长连接，从而减少网络资源消耗和分布式消息服务RabbitMQ资源消耗。 前提条件 如果您要使用SSL连接AMQProxy和分布式消息服务RabbitMQ，请确保您的客户端服务器已安装OpenSSL。 背景 部分语言的客户端，例如PHP客户端，无法使用长连接，会频繁地开启或关闭Connection，消耗大量的网络资源和分布式消息服务RabbitMQ资源，从而对分布式消息服务RabbitMQ造成巨大压力。 AMQProxy AMQProxy是Cloud AMQP提供的开源AMQP代理服务。客户端可以通过该代理服务与分布式消息服务RabbitMQ保持长连接。当客户端服务器部署AMQProxy后，客户端和分布式消息服务RabbitMQ之间的请求都会先发送到AMQProxy，然后由AMQProxy转发到对方。 AMQProxy处理客户端发起的Connection相关请求的逻辑如下： 如果客户端发送开启Connection的请求，AMQProxy将根据用户名、密码、Vhost查找当前是否有合适的Connection可以复用，如果有就复用该Connection，如果没有就由AMQProxy代替客户端和分布式消息服务RabbitMQ开启Connection。 如果客户端发送关闭Connection的请求，AMQProxy会直接应答OK，但并不会关闭与分布式消息服务RabbitMQ的Connection，当该客户端下次再请求开启Connection时，AMQProxy会直接使用该Connection。 部署AMQProxy （1）下载和安装AMQProxy。 开源项目地址： releases目录下有安装包，下载后可以在本地解压 （2）启动AMQProxy ./amqproxy l LISTENADDRESS p LISTENPORT AMQPURL 参数 描述 LISTENADDRESS AMQProxy IP地址。由于是在客户端服务器部署AMQProxy，因此可以直接使用本机地址127.0.0.1。 LISTENPORT AMQProxy监听端口。客户端请求通过该端口发送到AMQProxy。该端口可以为任何可用的端口，例如5673。 AMQPURL 分布式消息服务RabbitMQ实例的URL。格式为{amqpIamqps}://{endpoint}。 amqp：AMQP协议。不使用SSL连接时使用。 amqps：AMQP/SSL协议。使用SSL连接时使用。 endpoint：分布式消息服务RabbitMQ实例的接入点。可以在分布式消息服务RabbitMQ控制台的实例详情页面查看。 示例命令如下： ./amqproxy l 127.0.0.1 p 5673 amqps://192.168.0.100:5672 返回示例如下： Proxy upstream: 192.168.0.100:5672 TLS Proxy listening on 127.0.0.1:5673 0 clients 0 upstreams 参数 描述 clients 客户端和AMQProxy的Connection数量。 upstreams AMQProxy和分布式消息服务RabbitMQ实例的Connection数量。 （3）在客户端代码中将Host和端口修改为AMQProxy IP地址和监听端口。 factory.setHost("127.0.0.1"); factory.setPort(5673);

查看事件通知历史 1. 进入容器镜像服务控制台。 2. 点击已开通的企业版实例名称。 3. 左侧导航栏点击 "分发交付" "事件通知"，点击"事件历史"标签页即可查看事件通知历史。 4. 事件通知历史列表页右上角可以对事件规则进行筛选。 5. 对于发送失败的事件通知记录，可以点击操作栏的重试按钮重新发送事件通知消息。

syslogfacility (enum) 当启用了向syslog记录时，这个参数决定要使用的syslog“设备”。你可以在LOCAL0、LOCAL1、LOCAL2、LOCAL3、LOCAL4、 LOCAL5、LOCAL6、LOCAL7中选择，默认值是LOCAL0。还请参阅系统的syslog守护进程的文档。这个参数只能在postgresql.conf文件中或在服务器命令行上设置。 syslogident (string) 当启用了向syslog记录时，这个参数决定用来标识syslog中的TeleDB消息的程序名。默认值是postgres。这个参数只能在postgresql.conf文件中或在服务器命令行上设置。 syslogsequencenumbers (boolean) 当日志被记录到syslog并且这个设置为 on （默认）时，每一个消息会被加上一个增长的序号作为前缀（例如 [2]）。这种行为避开了很多 syslog 实现默认采用的 “ 上一个消息重复 N 次 ”形式。在现代 syslog 实现中， 抑制重复消息是可以配置的（例如rsyslog 中的$RepeatedMsgReduction），因此这个参数可能不是必需的。 此外，如果你真的想抑制重复消息，你可以把这个参数设置为 off。这个参数只能在postgresql.conf文件或者服务器命令行上设置。 syslogsplitmessages (boolean) 当启用把日志记录到syslog时，这个参数决定消息如何送达 syslog。当设置为 on（默认）时，消息会被分成行， 并且长的行也会被划分以便能够放到 1024 字节中， 这是传统 syslog 实现一种典型的尺寸限制。当设置为 off 时，TeleDB服务器日志消息会被原样送达 syslog 服务， 而处理可能的大体量消息的任务由 syslog 服务负责。如果 syslog 最终被记录到一个文本文件中，那么两种设置的效果是一样的， 但最好设置为 on，因为大部分 syslog 实现要么不能处理大型消息， 要么需要做特殊的配置以处理大型消息。但是如果 syslog 最终写入到某种其他媒介，有必要让消息保持逻辑上的整体性（也更加有用）。这个参数只能在postgresql.conf文件或者服务器命令行上设置。

一、资源选型 在天翼云官网开通海量文件服务（OceanFS）或弹性文件服务（SFS）。 注意 创建 OceanFS 时，需开启 “终端节点” 创建开关。 在天翼云官网开通弹性高性能计算服务，具体配置如下： 1 台昇腾 910B NPU 物理机，作为master管理节点 7 台昇腾 910B NPU 物理机，作为compute计算节点 注意 在集群创建过程中，“队列与计算节点” 页面的队列名称需设置为 batch（默认值）。 二、环境准备 2.1 配置管理节点参与计算任务 设置管理节点提供计算资源，可按以下步骤手动配置： 在管理节点修改调度器配置文件，在文件末尾添加以下信息（其中[管理节点名]需替换为集群管理节点的 hostname）： plaintext $ vim /opt/galaxy/scheduler/slurm/22.05.9.1/etc/slurm.conf ... NodeName[管理节点名] CPUs192 Boards2 SocketsPerBoard2 CoresPerSocket48 ThreadsPerCore1 RealMemory1546544 Gresgpu:910b2:8 在队列配置文件中，将集群管理节点的 hostname 添加到 Nodes 列表首位： plaintext $ vim /opt/galaxy/scheduler/slurm/22.05.9.1/etc/queueconfig PartitionNamebatch Defaultyes MaxTime1 StateUP PriorityTier40000 Nodes[管理节点名],compute001,compute002,compute003,compute004,compute005,compute006,compute007 将任意一台计算节点的/etc/default/gres.conf文件拷贝到管理节点的/etc/default/目录，示例命令如下（在管理节点执行）： plaintext $ scp compute0001:/etc/default/gres.conf /etc/default/ 在管理节点重启 slurm 服务： plaintext $ systemctl start slurmd $ systemctl enable slurmd $ systemctl restart slurmctld 检查管理节点是否已加入计算队列（例如查看 master001 是否在 batch 队列中，已加入的示例如下）： plaintext $ sinfo PARTITION AVAIL TIMELIMIT NODES STATE NODELIST batch up infinite 8 idle compute[001007],master001

参数名 描述 集群 显示上级父租户所在集群。 父租户资源 显示上级父租户的名称。 名称 指定当前租户的名称，长度为3~50个字符，可包含数字、字母或下划线（）。 根据业务需求规划子租户的名称，不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。 租户资源类型 指定租户是否是一个叶子租户： 选择“叶子租户资源”：当前租户为叶子租户，不支持添加子租户。 选择“非叶子租户资源”：当前租户为非叶子租户，支持添加子租户，但租户层级不能超过5层。 计算资源 为当前租户选择动态计算资源。 选择“Yarn”时，系统自动在Yarn中以子租户名称创建任务队列。 − 如果是叶子租户，叶子租户可直接提交到任务队列中。 − 如果是非叶子租户，非叶子租户不能直接将任务提交到队列中。 但是，Yarn会额外为非叶子租户增加一个任务队列（隐含），队列默认命名为“default”，用于统计当前租户剩余的资源容量，实际任务不会分配在此队列中运行。 不选择“Yarn”时，系统不会自动创建任务队列。 配置模式 计算资源参数配置模式。 选择“基础”时，只需配置“默认资源池容量 （%）”参数即可。 选择“高级”时，可手动配置资源分配权重，租户的最小/最大/预留资源。 默认资源池容量（%） 配置当前租户使用的计算资源百分比，基数为父租户的资源总量。 权重 资源分配权重，取值范围从0到100。 最小资源 保证租户资源能获得的资源（有抢占支持）。取值可以是父租户资源的百分比或绝对值。当租户资源作业量比较少时，资源会自动借给其他租户资源，当租户资源能使用的资源不满足最小资源时，可以通过抢占来要回之前借出的资源。 最大资源 租户资源最多能使用的资源，租户资源不能得到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。 预留资源 租户资源预留资源。即使租户资源内没有作业，预留的资源也不能给别的租户资源使用。取值可以是父租户资源的百分比或绝对值。 存储资源 为当前租户选择存储资源。 选择“HDFS”时，系统将自动在HDFS父租户目录中，以子租户名称创建文件夹。 不选择“HDFS”时，系统不会分配存储资源。 文件目录数上限 配置文件和目录数量配额。 存储空间配额 配置当前租户使用的HDFS存储空间配额。 当存储空间配额单位设置为MB时，范围为1～8796093022208，当“存储空间配额单位”设置为GB时，范围为1～8589934592。 此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。 如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。 如果此配额大于父租户的配额，实际存储量不超过父租户配额。 存储路径 配置租户在HDFS中的存储目录。 系统默认将自动在父租户目录中以子租户名称创建文件夹。例如子租户“ta1s”，父目录为“/tenant/ta1”，系统默认自动配置此参数值为“/tenant/ta1/ta1s”，最终子租户的存储目录为“/tenant/ta1/ta1s”。 支持在父目录中自定义存储路径。 服务 是否需要关联使用其他服务的资源，参见步骤4。 描述 配置当前租户的描述信息