本节介绍了完成日志采集规则配置后，在云日志控制台实时查看上报的日志。 前提条件 已创建日志组和日志流。 已完成ICAgent安装。 已接入日志。 查看实时日志 1. 在云日志服务管理控制台，单击“日志管理”。 2. 在日志组列表中，单击已创建的日志组名称。 3. 在日志流列表中，单击已创建的日志流名称。 4. 在日志流详情页面，单击“实时日志”，查看实时日志。 日志每隔大约5秒钟上报一次，在日志消息区域，您最多需要等待5秒钟左右，即可查看实时上报的日志。 同时，您还可以通过页面右上方的“清屏”、“暂停”对日志消息区域进行操作。 1. 清屏：清除日志消息区域已经显示出来的日志。 2. 暂停：暂停日志消息的实时显示，页面定格在当前已显示的日志。 暂停后，“暂停”会变成“继续”，再次单击“继续”，日志消息继续实时显示。 说明 如果您正在使用实时查看功能，请停留在实时查看页面，请勿切换页面。如果您离开实时查看页面，实时查看功能将会被关闭。

本章节介绍Kafka Broker节点主机宕机故障演练。 背景介绍 高性能高可靠的分布式消息服务 Kafka 在复杂分布式环境中仍可能因 Broker 节点宕机引发数据丢失、集群可用性下降、请求延迟升高、副本同步滞后等严重问题，本演练可测试业务系统应对此类核心组件故障的响应能力、高可用切换机制及数据一致性保障效果。 基本原理 指定或随机一个Broker节点进行关机。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker宕机动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 故障节点：可选择随机一个节点或者特定的节点。

参数名称 参数说明 取值样例 发送通知 配置是否发送邮件、短信、HTTP和HTTPS通知用户。 选择“是”（推荐选择），会发送通知；选择“否”，不会发送通知。 是 生效时间 该告警规则仅在生效时间内发送通知消息。 如生效时间为00:008:00，则该告警规则仅在00:008:00发送通知消息。 通知对象 需要发送告警通知的主题名称。 当发送通知选择“是”时，需要选择已有的主题名称，若此处没有需要的主题则需先创建主题，该功能会调用消息通知服务（SMN），创建主题请参见《消息通知服务用户指南》。 触发条件 可以选择“出现告警”、“恢复正常”两种状态，作为触发告警通知的条件。

本文介绍分布式消息服务MQTT的keepalive设置推荐 在MQTT中，Keep Alive是一个用于保持客户端和服务器之间的活动连接的机制。它是通过客户端定期发送PINGREQ消息来实现的，以确保连接保持活动状态。当服务器接收到PINGREQ消息后，会回复PINGRESP消息，表示连接仍然活动。 Keep Alive的设置取决于你的应用需求和网络环境。以下是一些建议： 1. 根据网络稳定性设置：如果你的网络环境非常稳定，连接很少会断开，你可以将Keep Alive设置为较长的时间，例如60秒或更长。这样可以减少PINGREQ和PINGRESP消息的频繁发送，减少网络流量和资源消耗。 2. 根据应用实时性设置：如果你的应用对实时性要求较高，需要及时获取和响应消息，则可以将Keep Alive设置为较短的时间，例如10秒或更短。这样可以快速检测到连接丢失，并尽快重新连接或采取相应的处理措施。 3. 根据网络延迟设置：如果你的网络延迟较高，连接速度较慢，你可能需要将Keep Alive设置为较长的时间，以允许更多的时间来处理网络延迟和连接恢复。 需要注意的是，Keep Alive的设置不应过于频繁或过于长久。太频繁的Keep Alive会增加网络流量和服务器负载，太长久的Keep Alive可能会导致连接超时和断开。 一般来说，根据网络稳定性和应用实时性的考虑，将Keep Alive设置为30秒到5分钟之间是比较常见的。你可以根据你的具体需求和实际情况进行调整和优化。

请求消息体 请求消息体可选，格式统一为JSON，具体内容参见各个API接口说明。

请求消息体 请求消息体可选，格式统一为JSON，具体内容参见各个API接口说明。

本文主要介绍 步骤二：创建Kafka实例。 前提条件 在创建Kafka实例前，需要保证存在可使用的虚拟私有云。创建方法，请参考《虚拟私有云 用户指南》的“创建虚拟私有云和子网”。 如果您已有虚拟私有云，可重复使用，不需要多次创建。 操作步骤 步骤 1 登录分布式消息服务Kafka控制台，单击页面右上方的“购买Kafka实例”。 步骤 2 选择计费模式。 步骤 3 在“区域”下拉列表中，选择靠近您应用程序的区域，可降低网络延时、提高访问速度。 步骤 4 在“项目”下拉列表中，选择项目。 步骤 5 在“可用区”区域，根据实际情况选择1个或者3个及以上可用区。 步骤 6 设置“实例名称”和“企业项目”。 步骤 7 设置实例信息。 1. 版本：Kafka的版本号，支持1.1.0、2.3.0和2.7，根据实际情况选择，推荐使用2.7。 Kafka实例创建后，版本号不支持修改 。 2. CPU架构：支持“x86计算”，保持默认值即可。 3. 在“代理规格”中，请根据业务需求选择相应的代理规格。在“代理数量”中，选择代理个数。 单个代理最大分区数代理个数实例分区数上限。当所有Topic的总分区数大于实例分区数上限时，创建Topic失败。 4. 在“存储空间”区域，您根据实际需要选择存储Kafka数据的磁盘类型和总磁盘大小。 Kafka实例创建后，磁盘类型不支持修改 。 存储空间包含所有副本存储空间总和，建议根据业务消息体积以及副本数量选择存储空间大小。假设业务存储数据保留天数内磁盘大小为100GB，则磁盘容量最少为100GB副本数 + 预留磁盘大小100GB。 创建实例时会进行磁盘格式化，磁盘格式化会导致实际可用磁盘为总磁盘的93%~95%。 5. 在“容量阈值策略”区域，设置磁盘使用达到容量阈值后的消息处理策略，容量阈值为95%。 自动删除：可以正常生产和消费消息，但是会删除最早的10%的消息，以保证磁盘容量充足。该场景优先保障业务不中断，数据存在丢失的风险。 生产受限：无法继续生产消息，但可以继续消费消息。该场景适用于对数据不能丢的业务场景，但是会导致生产业务失败。 图 创建Kafka实例 步骤 8 设置实例网络环境信息。 1. 在“虚拟私有云”下拉列表，选择已经创建好的虚拟私有云和子网。 说明 虚拟私有云和子网在Kafka实例创建完成后，不支持修改。 2. 在“安全组”下拉列表，可以选择已经创建好的安全组。 安全组是一组对Kafka实例的访问规则的集合。您可以单击右侧的“管理安全组”，跳转到网络控制台的“安全组”页面，查看或创建安全组。 步骤 9 设置登录Kafka Manager的用户名和密码。创建实例后，Kafka Manager用户名无法修改。 Kafka Manager是开源的Kafka集群管理工具，实例创建成功后，实例详情页面会展示Kafka Manager登录地址，您可登录Kafka Manager页面，查看Kafka集群的监控、代理等信息。 步骤 10 设置实例购买时长。 当选择了“包年/包月”付费模式时，页面才显示“购买时长”参数，您需要根据业务需要选择。 步骤 11 单击“更多配置”，设置更多相关信息。 1. 设置“公网访问”。 “公网访问”默认为关闭状态，根据业务需求选择是否开启。开启公网访问后，还需要为每个代理设置对应的IPv4弹性IP地址。 图 设置公网访问开关 2. 设置“Kafka SASLSSL”。 客户端连接Kafka实例时，是否开启SSL认证。开启Kafka SASLSSL，则数据加密传输，安全性更高。 “Kafka SASLSSL”默认为关闭状态，您可以选择是否开启。 Kafka实例创建后，Kafka SASLSSL开关不支持修改 ，请慎重选择。如果创建后需要修改，需要重新创建实例。 开启Kafka SASLSSL后，您可以选择是否开启“SASL PLAIN 机制”。未开启“SASL PLAIN 机制”时，使用SCRAMSHA512机制传输数据，开启“SASL PLAIN 机制”后，同时支持SCRAMSHA512机制和PLAIN机制，根据实际情况选择其中任意一种配置连接。Kafka实例创建后，SASL PLAIN机制开关不支持修改。 什么是SCRAMSHA512机制和PLAIN机制？ SCRAMSHA512机制：采用哈希算法对用户名与密码生成凭证，进行身份校验的安全认证机制，比PLAIN机制安全性更高。 PLAIN机制：一种简单的用户名密码校验机制。 开启Kafka SASLSSL后，您需要设置连接Kafka实例的用户名和密码。 3. 设置“Kafka自动创建Topic”。 “Kafka自动创建Topic”默认为关闭状态，您可以选择是否开启。 开启“Kafka自动创建Topic”表示生产或消费一个未创建的Topic时，系统会自动创建此Topic，此Topic的默认参数值如下：分区数为3，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。 如果在“配置参数”中修改“log.retention.hours”、“default.replication.factor”或“num.partitions”的参数值，此后自动创建的Topic参数值为修改后的参数值。例如：“num.partitions”修改为“5”，自动创建的Topic参数值如下：分区数为5，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。 4. 设置“标签”。 标签用于标识云资源，当您拥有相同类型的许多云资源时，可以使用标签按各种维度（例如用途、所有者或环境）对云资源进行分类。 如果您已经预定义了标签，在“标签键”和“标签值”中选择已经定义的标签键值对。另外，您可以单击“查看预定义标签”，跳转到标签管理服务页面，查看已经预定义的标签，或者创建新的标签。 您也可以直接在“标签键”和“标签值”中设置标签。 当前每个Kafka实例最多支持设置20个不同标签，标签的命名规格，请参考管理实例标签。 5. 设置实例的描述信息。 步骤 12 填写完上述信息后，单击“立即购买”，进入规格确认页面。 步骤 13 确认实例信息无误后，提交请求。 步骤 14 单击“返回Kafka专享版”，查看Kafka实例是否创建成功。 创建实例大约需要3到15分钟，此时实例的“状态”为“创建中”。 当实例的“状态”变为“运行中”时，说明实例创建成功。 如果创建实例失败，在信息栏的“创建失败任务”中查看创建失败的实例。请删除创建失败的实例，然后重新创建。如果重新创建仍然失败，请联系客服。 说明 创建失败的实例，不会占用其他资源。

本章主要介绍翼MapReduce的管理本地快速恢复任务功能。 操作场景 使用DistCp备份数据时，本集群HDFS中将保存备份数据的快照信息。FusionInsight Manager支持使用本地的快照快速恢复数据，减少从备集群恢复数据使用的时间。 管理员可以通过FusionInsight Manager与本集群HDFS保存的快照信息，创建本地快速恢复任务并执行恢复任务。 操作步骤 1.登录FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。 2.在备份任务列表已创建任务的“操作”列，单击“恢复”。 3.确认界面是否提示“没有可快速恢复的数据，请在恢复管理界面创建恢复任务进行恢复。”。 是，备份任务未在主集群产生备份数据快照，任务结束。 否，可以创建本地快速恢复任务，执行4。 说明 元数据不支持快速恢复。 4.在“任务名称”填写本地快速恢复任务的名称。 5.在“备份配置”选择数据源。 6.在“可恢复点列表”选择一个包含目标备份数据的恢复点。 7.在“队列名称”填写任务执行时使用的Yarn队列的名称。需和集群中已存在且状态正常的队列名称相同。 8.在“数据配置”选择需要恢复的对象。 9.单击“校验”，界面显示“校验恢复任务配置成功”。 10.单击“确定”。 11.在恢复任务列表已创建任务的“操作”列，单击“执行”，开始执行恢复任务。 任务执行完成后，“任务状态”显示为“成功”。

m3弹性云主机的规格 规格名称 CPU( 核） 内存（ GB ） 最大带宽（ Gbps ） 基准带宽（ Gbps ） 最大收发包（万 pps ） 网卡多队列 m3.large.8 2 16 1.5 0.6 30 2 m3.xlarge.8 4 32 3 1.1 50 2 m3.2xlarge.8 8 64 5 2 90 4 m3.4xlarge.8 16 128 10 4.5 130 4 m3.8xlarge.8 32 256 15 9 260 8 m2弹性云主机的规格 规格名称 CPU(核） 内存（GB） 最大带宽（Gbps） 基准带宽（Gbps） 最大收发包（万pps） 网卡多队列 m2.medium.8 1 8 m2.large.8 2 16 m2.xlarge.8 4 32 m2.2xlarge.8 8 64 m2.4xlarge.8 16 128

计费项 说明 计算计费 按照“CU时”收取计算费用。 CU是队列的计价单位。1CU 1Core 4GMem。不同规格的队列对应的计算能力不一样，规格越高计算能力越好。当前支持Spark、Flink、OpenLookeng计算。 存储计费 按照存储在DLI服务中的表数据存储量（单位为“GB”）收取存储费用。 在估算存储费用时，请特别注意，DLI采用压缩存储，通常能压缩到原文件大小的1/5。DLI存储按照压缩后的大小计费。 如果数据存储在OBS服务中，则DLI服务不收取存储费用，对应的费用由OBS服务收取。

接口功能介绍 查看消息消费结果 接口约束 无 URI GET /v3/message/trace 路径参数 无 Query参数 参数 是否必填 参数类型 说明 示例 下级对象 msgId 是 String 消息ID prodInstId 是 String 实例ID groupName 是 String 订阅组名字 请求参数 请求头header参数 参数 是否必填 参数类型 说明 示例 下级对象 regionId 是 String 资源池编码 200000002368 请求体body参数 无 响应参数 参数 参数类型 说明 示例 下级对象 statusCode String 接口系统层面状态码。成功：800，失败：900 message String 描述状态 returnObj Object 返回对象 data error String 错误码，只有非成功才有这个字段，方便快速定位问题 201 表 data 参数 参数类型 说明 示例 下级对象 msgId String 消息ID C0A847BC000020E60000000000003FEE clusterName String 集群名称 mqtest consumeStatusList Array of Objects 消费状态列表 consumeStatusList 表 consumeStatusList 参数 参数类型 说明 示例 下级对象 object1 String 消费组名称 group object2 String 消费状态 TOCONSUME

本文主要介绍通知类型。 功能说明 产品识别并针对不同性质的事件生成相应的消息通知。例如，套餐用量使用方面，当短信使用出现超量事件时，系统会自动生成对应的通知消息，消息通知需要由客户进行设定通知的方式、通知对象以便更及时的进行消息传递。 操作步骤 1. 登录边缘安全加速控制台，选择相应的控制台【AOne零信任】； 2. 在左侧导航栏，选择消息通知，进入相关页面进行操作； 3. 消息通知目前分为两个模块：通知类型，通知渠道，本文主要介绍通知类型能力。 套餐服务超量 基于零信任服务的计费相关内容，进行相应的服务超量时通知。 内置短信用量提醒 为助力您顺利开展业务，平台根据不同账号类型，为您赠送一定数量的免费短信额度，短信额度总量由企业下所有账号共享使用。在购买套餐或者扩展服务时，您将获得相应的免费短信配额，赠送额度自账号激活当月起生效，以自然月为周期，每月定期发放。详细赠送规则短信收费及使用说明。为避免您短信超量后影响服务，可先进行设定短信的使用量提醒。 配置项 配置项说明 通知开关 开启则按照条件进行相应通知，关闭则不通知。 触发条件 可设置短信用量达到一定比例时进行通知。 通知方式 目前支持短信、邮件进行相应通知。 谁会接收通知 请配置相应接收通知的人员。

本章节主要介绍工作负载队列功能。 功能介绍 DWS工作负载队列的具体功能包括：并发管理、内存管理、CPU管理以及异常规则。 并发管理 并发，即资源池中的最大查询并发数。并发管理作为运行前管理，用于限制查询并发运行的数量，通过限制查询并发数降低资源争抢，保证资源的有序高效利用。 在资源池页面“短查询配置”一栏，您可以通过开关键决定是否开启短查询加速功能。如果需要对简单语句并发数（默认值为1，0 或1表示不控制）进行修改，可选择打开短查询加速。 并发管理规则如下： 短查询加速开启，复杂查询受工作负载队列并发控制，简单查询受短查询并发控制。 短查询加速关闭，复杂查询和简单查询均受工作负载队列并发控制，短查询并发控制无效。 内存管理 内存资源，即工作负载队列所占用的内存百分比。 内存管理的目的：防止数据库系统占用内存过高导致内存溢出(OOM)和实现资源池之间的内存隔离和限制。为满足这两个目的，工作负载管理从以下两方面进行内存管理： 全局内存管理 为防止数据库系统使用内存过大导致OOM，设置数据库系统全局内存上限(maxprocessmemory)，对数据库全局内存进行管理。全局内存管理包含运行前管理和运行中管理，运行中管理防止实际使用内存超限，运行前管理防止查询执行过程中报错，具体如下： −运行前管理： 一方面慢车道运行的所有查询估算内存都会进行统计，另一方面数据库系统实际使用内存会进行反馈，当实际使用内存大于统计内存时，对统计内存进行调整。查询运行前，判断全局剩余内存能否满足查询运行，满足情况下查询可以直接运行，否则查询需要排队，等待其他查询释放资源后运行。 −运行中管理： 查询执行过程中实际使用的内存也会进行统计，查询在申请内存时判断内存使用是否超限，内存超限查询报错，已用内存释放。 资源池内存管理 资源池内存管理属于专属限额的管理方式，即资源池分配多少内存就只能使用多少内存，空闲出来的内存其他资源池不能使用。 资源池内存分配采用百分比方式，取值范围0~100。0表示资源池不进行内存管理，100表示资源池进行内存管理且可使用全局所有内存。 所有资源池分配的内存百分比之和不能超过100。资源池内存管理仅管控慢车道查询，且只包含运行前管理，处理逻辑与全局内存运行前管理类似。资源池慢车道查询运行前，进行估算内存统计，当统计内存大于资源池内存时，查询需要排队，等待资源池内其他查询运行结束释放资源后才能运行。

案例背景 某电商平台订单处理系统采用分布式微服务架构，其概要结构图如下，核心流程通过分布式消息服务Kafka集群实现异步解耦： 订单创建：用户在前端提交订单，请求经过负载均衡器转发至订单服务集群。订单服务处理业务逻辑，生成包含订单详情的消息数据，并将该消息可靠地发送至Kafka集群的特定Topic。 下游处理：库存服务（负责扣减库存）、支付服务（负责发起支付请求）和物流服务（负责生成物流配送单）是主要的下游消费者。它们各自订阅Kafka集群中的相应Topic，并行地拉取并处理消息。 Kafka集群作为异步通信的核心，其稳定性和性能对整个订单系统的可用性至关重要。在高并发的场景下，Kafka Broker可能会面临各种异常情况，其中CPU负载过高是常见的一种，可能由突发流量洪峰、JVM垃圾回收或底层基础设施瓶颈等原因引起。Kafka Broker的CPU高负载会直接影响消息的处理速度，导致生产和消费的延迟，甚至引发整个系统的不稳定。 故障演练服务提供了分布式消息服务KafkaBroker节点CPU高负载演练动作，通过模拟这种真实的故障场景，我们可以量化分析Kafka集群在Broker节点CPU受限时的表现，验证订单处理系统及其下游服务对Kafka异常的容忍度和应对能力，并提升团队在真实故障发生时的异常响应与恢复能力。

本文主要介绍分布式消息服务RabbitMQ的计费概述。 通过阅读本文，您可以快速了解分布式消息服务RabbitMQ的计费模式、计费项、产品价格等信息。 计费模式 分布式消息服务RabbitMQ提供包年/包月和按需计费两种计费模式，以满足不同场景下的用户需求。包年/包月是一种预付费模式，即先付费再使用，按照订单的购买周期进行结算，因此在购买之前，您必须确保账户余额充足。按需计费是一种后付费模式，即先使用再付费，按照RabbitMQ实例实际使用时长计费。关于两种计费模式的详细介绍请参见计费模式概述。 计费项 分布式消息服务RabbitMQ的计费项由实例费用和存储空间费用组成。了解每种计费项的计费因子、计费公式等信息，请参考计费项。 如需了解实际场景下的计费样例以及各计费项在不同计费模式下的费用计算过程，请参见计费样例。 产品价格 分布式消息服务RabbitMQ的产品价格，介绍了包年/包月和按需计费的价格明细。了解更多关于产品价格的信息，请参见产品价格。

结果验证 1. 使用事件源触发一个事件。 2. 消费自建集群对应Topic消息，查看是否有对应消息投递。

前言 工作空间是息壤一站式智算服务平台的顶层逻辑概念，为企业和团队提供统一的计算资源管理及人员权限管理能力，为AI开发者提供支持团队协作的全流程开发工具以及AI资产管理能力。息壤一站式智算服务平台具有一个默认工作空间，用户也可以根据自身需要单独创建工作空间。 工作空间与队列/资源配额以及工作空间成员进行各项任务之间的整体关系如下图： 1. 先由主账号或角色为IAM管理员的子账号先创建空间 2. 创建空间后，再关联队列h或资源配额(目的是确定工作空间所使用的计算资源) 3. 再进行成员管理(将需要在工作空间内进行作业的成员加入进来并分配对应角色) 4. 最后空间成员可以在工作空间内基于队列资源进行相关作业，如使用开发机、创建训练任务等。 工作空间创建 前置条件 账号为主账号或者角色为IAM管理员的子账号 操作步骤 1. 打开【工作空间管理】菜单，点击【创建工作空间】按钮 2. 在【创建工作公开】弹窗按规则依次填写“工作空间名称”、“工作空间描述”，再点击“确认”按钮，工作空间即创建成功 3. 在【工作空间管理】页面可以查看创建的工作空间

本章节介绍故障演练服务中应用资源管理功能。 概述 应用资源 是构成应用 的组件节点，例如云主机 、云容器引擎 、分布式缓存服务Redis版 、分布式消息服务Kafka等实例。应用需要先纳管资源，才能对其进行故障演练。 添加应用资源 1. 登录应用高可用服务控制台。 2. 在左侧导航栏中，定位到故障演练 菜单，选择要操作的目标应用 ，然后单击其下的应用资源 选项，进入应用资源管理页面。 3. 在页面上方的资源类型 页签中，选择希望添加的资源类型（如云主机），然后单击添加资源按钮。 4. 在弹出的对话框中，选择资源池等筛选条件 ，单击搜索，系统将列出符合条件的、当前用户有权访问的资源清单。 5. 从列表中勾选 一个或多个资源，然后单击确认完成添加。 6. 返回应用资源列表，可以看到新添加的资源对象。 注意 列表中显示的资源状态可能存在一定延迟，如需获取最实时的信息，以该资源对应的云产品控制台为准。 删除应用资源 1. 进入目标应用的应用资源管理页面。 2. 在应用资源 列表中，找到希望删除的资源对象，单击其对应的删除按钮。 3. 在弹出的确认对话框中完成删除操作。 4. 返回应用资源列表，确认该资源对象已被成功移除。 注意 若目标资源被演练任务引用，则无法直接删除；必须先解除所有关联任务对该资源的引用，才能进行删除操作。

操作系统 相关配置项 参考链接 Windows 设置网卡属性为DHCP 开启远程桌面连接功能 安装Guest OS driver，包括PV driver和UVP VMtools驱动 （可选）安装CloudbaseInit工具 （可选）开启网卡多队列 （可选）配置IPv6地址 Linux 清理网络规则文件 设置网卡属性为DHCP 安装原生的XEN和KVM驱动 修改grub文件的磁盘标识方式为UUID 修改fstab文件的磁盘标识方式为UUID 清除“/etc/fstab”中非系统盘的自动挂载信息 （可选）安装CloudInit工具 （可选）开启网卡多队列 （可选）配置IPv6地址

查看Prometheus监控数据 1. 登录分布式消息服务Kafka控制台。 2. 在实例列表页面，点击目标Kafka实例名称。 3. 在左侧导航栏，单击消息查询，可选择按时间查询，并选择目标Topic。 4. 点击消息详情，即可查看您导入的Prometheus监控数据。

介绍分布式消息服务Kafka扩容相关内容。 场景描述 当需要处理大量消息时，Kafka实例的扩容是一种常见的解决方案。扩容可以增加Kafka集群的吞吐量、存储能力和高可用性。分布式消息服务Kafka提供三类扩容方案，分别为节点、规格和磁盘扩容，更好满足用户不同场景下的扩容需求。 ● 代理数量扩容：指向Kafka集群中添加更多的节点以增加系统的吞吐量和可靠性。通过扩容，可以将消息的发送和消费负载分摊到更多的节点上，从而提高系统的并发处理能力。 ● 规格扩容：指通过增加Kafka的资源配置来提升系统的处理能力和性能。 ● 磁盘扩容：指增加磁盘的存储容量，以满足更多消息的存储需求。 变更实例规格的影响 变更配置类型 影响 磁盘扩容 磁盘扩容不会影响业务。 代理数量扩容 1.代理数量扩容不会影响原来的代理，业务也不受影响（如果实例已配置分区自动重平衡，会触发重平衡，客户端会触发重连）。 2.新创建的Topic才会分布在新代理上，原有Topic还分布在原有代理上。通过修改Kafka分区平衡，实现将原有Topic分区的副本迁移到新代理上。 规格扩容缩容 1.若Topic为单副本，扩容/缩容期间会出现无法对该Topic生产消息或消费消息，会造成业务中断。 2.若Topic为多副本，代理会滚动重启，代理滚动重启造成分区Leader切换，会发生秒级连接闪断，Leader切换时长一般为1分钟以内。建议您在业务低峰期扩容/缩容，并且再生产客户端配置重试机制，方法如下： (1).生产客户端为Kafka开源客户端时，检查是否配置retries和retry.backoff.ms参数。建议参数值分别配置为：retries10，retry.backoff.ms1000。 (2).生产客户端为Flink客户端时，检查是否配置重启策略，配置重启策略可以参考如下代码。 StreamExecutionEnvironment env StreamExecutionEnvironment.getExecutionEnvironment(); env.setRestartStrategy(RestartStrategies.fixedDelayRestart(10, Time.seconds(20)));

操作步骤 1.在FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。 2.在任务列表指定任务的“操作”列，选择“更多 > 查询历史”，打开备份任务执行历史记录。 在弹出的窗口中，在指定一次执行成功记录的“备份路径”列，单击“查看”，打开此次任务执行的备份路径信息，查找以下信息： “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目，在“备份路径”手工选中备份文件的完整路径并复制。 3.在FusionInsight Manager，选择“运维 > 备份恢复 > 恢复管理”。 4.单击“创建”。 5.在“任务名称”填写恢复任务的名称。 6.在“恢复对象”选择待操作的集群。 7.在“恢复配置”，勾选“业务数据”下的“HDFS”。 8.在“HDFS”的“路径类型”，选择一个备份目录的类型。 备份目录支持以下类型： “RemoteHDFS”：表示将备份文件保存在备集群的HDFS目录。 选择此参数值，还需要配置以下参数： “源端NameService名称”：填写备份数据集群的NameService名称。可以输入集群内置的远端集群的NameService名称：haclusterX，haclusterX1，haclusterX2，haclusterX3，haclusterX4；也可输入其他已配置的远端集群NameService名称。 “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “源端NameNode IP地址”：填写备集群NameNode业务平面IP地址，支持主节点或备节点。 “源端路径”：填写备集群保存备份数据的完整HDFS路径。例如，“ 备份路径/备份任务名数据源任务创建时间 ”。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。 “恢复点列表”：单击“刷新”，然后选择一个备集群上已备份的HDFS目录。 “目标NameService名称”：选择备份目录对应的目标NameService名称。默认值为“hacluster”。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “NFS”：表示备份文件通过NFS协议保存在NAS中。选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “源端路径”：填写备份文件在NAS服务器中保存的完整路径。例如，“ 备份路径/备份任务名数据源任务创建时间”。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。 “恢复点列表”：单击“刷新”，然后选择一个备集群上已备份的HDFS目录。 “目标NameService名称”：选择备份目录对应的目标NameService名称。默认值为“hacluster”。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “CIFS”：表示备份文件通过CIFS协议保存在NAS中。选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “源端路径”：填写备份文件在NAS服务器中保存的完整路径。例如，“ 备份路径/备份任务名数据源任务创建时间”。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。 “恢复点列表”：单击“刷新”，然后选择一个备集群上已备份的HDFS目录。 “目标NameService名称”：选择备份目录对应的目标NameService名称。默认值为“hacluster”。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “SFTP”：表示备份文件通过SFTP协议保存到服务器中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写备份数据的服务器IP地址。 “端口号”：填写SFTP协议连接备份服务器使用的端口号，默认值为“22”。 “用户名”：填写使用SFTP协议连接服务器时的用户名。 “密码”：填写使用SFTP协议连接服务器时的密码。 “源端路径”：填写备份文件在备份服务器中保存的完整路径。例如，“ 备份路径/备份任务名数据源任务创建时间/版本号数据源任务执行时间.tar.gz ”。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。 “恢复点列表”：单击“刷新”，然后选择一个备集群上已备份的HDFS目录。 “目标NameService名称”：选择备份目录对应的目标NameService名称。默认值为“hacluster”。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 9.在“数据配置”中的“备份数据”列根据业务需要勾选一个或多个需要恢复的已备份数据，并在“目标路径”列，指定备份数据恢复后的位置。 “目标路径”建议选择一个与目的端路径不同的新路径。 10.单击“校验”查看恢复任务的配置是否正确。 如果队列名称不正确，校验失败。 如果不存在指定的恢复目录，校验失败。 11.单击“确定”保存。 12.在恢复任务列表已创建任务的“操作”列，单击“执行”，开始执行恢复任务。 恢复成功后进度显示为绿色。 恢复成功后此恢复任务不支持再次执行。 如果恢复任务在第一次执行时由于某些原因未执行成功，在排除错误原因后单击“重试”，重试恢复任务。

DDoS基础防护封禁通知 当您的IP遭受的DDoS攻击峰值超过IP的防护阈值时，会对IP所在服务器和网络的稳定性造成影响，根据用户协议，IP会进入封禁状态，封禁时间持续24小时。 该封禁状态有通知，会通过IP所属账户的站内信、短信、邮箱渠道进行通知，告知封禁信息。除了账户所有人，您还可以在天翼云控制台消息中心消息订阅消息管理安全消息处配置多个消息接收人，比如将您业务的多位值班或运维人员配置到联系人中，此时安全消息短信会通知告知多个人。 通知内容仅有攻击峰值，不包含攻击源信息。DDoS基础防护主要防护IP所在网络的整体稳定，非单个IP的攻击分析产品，仅能提供目的IP级别遭受DDoS大流量攻击的攻击峰值信息，无法提供源IP级别的信息。若客户需要源IP级别的分析，可选择任意渠道和厂商的DDoS高防产品防护自身业务IP并免于触发DDoS封禁，不局限于天翼云的DDoS高防产品。天翼云和其他云厂商均提供有DDoS高防产品，一般可提供高防IP隐藏业务IP、大流量攻击防护和攻击源分析能力。

系统技术栈版本名称 技术栈类型 部署方式 1.0.0j180jar SPRINGCLOUD Ecs部署、容器部署 1.0.0j180t818war SPRINGCLOUD Ecs部署、容器部署 1.0.0j180jar DUBBO Ecs部署、容器部署 1.0.0j180t818war DUBBO Ecs部署、容器部署 1.24.0staticresourcetar STATICRESOURCE Ecs部署 1.0.0staticresourceimage STATICRESOURCE 容器部署 1.0.0j180t704jar TONGWEB 容器部署 1.0.0j180t704war TONGWEB 容器部署 1.0.0phpimage PHP 容器部署 1.0.0rocketMqimage ROCKETMQ 容器部署 1.0.0postgreSqlimage POSTGRESQL 容器部署 1.0.0zookeeperimage ZOOKEEPER 容器部署 1.0.0mongoDbimage MONGODB 容器部署 1.0.0nginximage NGINX 容器部署 1.0.0nodeJsimage NODEJS 容器部署 1.0.0mysqlimage MYSQL 容器部署 1.0.0redisimage REDIS 容器部署 1.0.0kafkaimage KAFKA 容器部署 1.0.0oracleimage ORACLE 容器部署 1.0.0hadoopimage HADOOP 容器部署 1.0.0springBootimage SPRINGBOOT 容器部署 1.0.0tomcatimage TOMCAT 容器部署 1.0.0pythonimage PYTHONRUNTIME 容器部署 1.0.0goimage GO 容器部署 1.0.0cimage C 容器部署 1.0.0c++image C++ 容器部署 1.0.0cimage C 容器部署

本文介绍分布式消息服务RabbitMQ的计费项。 计费说明 分布式消息服务RabbitMQ的计费项由实例费用和存储空间费用组成。具体内容如表1所示。 表1 分布式消息服务RabbitMQ计费项 计费项 计费项说明 适用的计费模式 计费公式 实例费用 计费因子：代理规格和代理数量 包年/包月、按需计费 实例规格单价 购买时长 实例规格的单价，请参见分布式消息服务RabbitMQ产品价格中的“实例价格”。 存储空间费用 计费因子：云硬盘类型、容量 包年/包月、按需计费 存储空间单价 购买时长 存储空间的单价，请参见分布式消息服务RabbitMQ产品价格中的“存储空间价格”。 计费示例 以包年/包月计费模式为例，假设您于2023/03/08 15:50:04在“广州4”区域购买了一个包年/包月RabbitMQ实例（规格：rabbitmq.2u4g.cluster3，总存储空间：超高I/O 300GB），计费资源包括实例费用（代理规格和代理数量），以及存储空间费用（超高I/O 300GB）。购买时长为一个月，并在到期前手动续费1个月，则： 第一个计费周期为：2023/03/08 15:50:04 ~ 2023/04/08 23:59:59 第二个计费周期为：2023/04/08 23:59:59 ~ 2023/05/08 23:59:59 图1给出了上述示例配置的费用计算过程。 说明 图中价格仅供参考，实际计算请以分布式消息服务RabbitMQ 图1 包年/包月RabbitMQ实例费用计算示例 按需计费模式下，各计费项的计费示例请参见计费样例。

参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 代理集群名称 是 选择CDM集群名称，CDM集群提供代理连接的功能。如果选择选择的CDM集群与第三方服务处于同一个VPC下，那么Rest Client可以调用租户面的API。 URL地址 是 填写请求主机的IP或域名地址，以及端口号。例如： HTTP方法 是 选择请求的类型： GET POST PUT DELETE 请求头 否 单击 ，添加请求消息头，参数说明如下： 参数名称 选择参数的名称，选项为“ContentType”、“AcceptLanguage”。 参数值 填写参数的值。 URL参数 否 填写URL参数，格式为“参数值”形式的字符串，字符串间以换行符分隔。当“HTTP方法”为“GET”时，显示该配置项。参数说明如下： 参数 只支持英文字母、数字、“”、“”，最大长度为32字符。 值 只支持英文字母、数字、“”、“”、“$”、“{”和“}”，最大长度为64字符。 请求消息体 是 填写Json格式的请求消息体。当“HTTP方法”为“POST”、“PUT”时，显示该配置项。 是否需要判断返回值 否 设置是否判断返回消息的值和预期的一致。当“HTTP方法”为“GET”时，显示该配置项。 YES：检查返回消息中的值是否和预期的一致。 NO：不检查，请求返回200响应码（表示节点执行成功）。 返回值字段路径 是 填写Json响应消息中某个属性的路径（下称：Json属性路径），每个Rest Client节点都只能配置一个属性的路径。当“是否需要判断返回值”为“YES”时，显示该配置项。 例如，返回结果为： { "param1": "aaaa", "inner": { "inner": { "param4": 2014247437 }, "param3": "cccc" }, "status": 200, "param2": "bbbb" } 其中“param4”属性的路径为“inner.inner.param4”。 请求成功标志位 是 填写请求成功标志位，如果响应消息的返回值与请求成功标志位中的某一个匹配，表示节点执行成功。当“是否需要判断返回值”为“YES”时，显示该配置项。请求成功标志位只支持英文字母、数字、“”、“”、“$”、“{”、“}”，多个值使用“;”分隔。 请求失败标志位 否 填写请求失败标志位，如果响应消息的返回值与请求失败标志位中的某一个匹配，表示节点执行失败。当“是否需要判断返回值”为“YES”时，显示该配置项。请求失败标志位只支持英文字母、数字、“”、“”、“$”、“{”、“}”，多个值使用“;”分隔。 请求间隔时间（秒） 是 如果响应消息的返回值与请求成功标志位不匹配，将每隔一段时间查询一次，直到响应消息的返回值与请求成功标志位一致。节点执行的超时时间默认为1小时，如果1小时内查询的结果始终为不匹配，那么节点的状态将置为失败。当“是否需要判断返回值”为“YES”时，显示该配置项。 响应消息体解析为传递参数定义 否 设置作业变量与Json属性路径的对应关系，参数间以换行符分隔。例如：var4inner.inner.param4其中，“var4”为作业变量，作业变量只支持英文字母、数字，最大长度为64字符；“inner.inner.param4”为Json属性路径。仅该节点的后续节点引用该参数才会生效，引用该参数时，格式为：${var4}。

专属云共享存储包余量提醒分为主动预警和用尽通知两种。 主动预警 当客户购买的资源包用量达到80%，系统发送主动预警信息，通过邮件和短信通知客户。 用尽通知 当客户购买的资源包用量达到100%，系统发送用尽通知，通过邮件和短信通知客户。 余量提醒屏蔽方法 1. 登录天翼云官网 2. 我的未读消息 3. 左侧栏目：消息中心消息订阅消息管理 4. 取消勾选：资源包100%用量预警/资源包80%/90%用量预警

步骤四：购买客户端服务器 购买3台ECS服务器（资源池、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致，带宽要大于等于Kafka实例带宽） 购买完成后需要进行如下操作： 安装JDK yum install y java1.8.0openjdkdevel.x8664 下载Kafka命令行工具并解压 tar zxvf kafka2.132.8.2.tar.gz 步骤五：测试命令 ./kafkaproducerperftest.sh producerprops bootstrap.servers${连接地址} acks1 batch.size16384 topic ${Topic名称} numrecords 5000000 recordsize 1024 throughput 1 producer.config ../config/producer.properties bootstrap.servers：购买Kafka实例后，获取的Kafka实例的地址。 acks：消息主从同步策略，acks1表示异步复制消息，acks1表示同步复制消息。 batch.size：每次批量发送消息的大小（单位为字节）。 topic：创建Topic中设置的Topic名称。 numrecords：总共需要发送的消息数。 recordsize：每条消息的大小。 throughput：每秒发送的消息数，1表示不作限制。 测试结果 测试场景一（实例是否开启SASL）：相同的Topic（30分区，3副本，异步复制） 实例规格 磁盘类型 节点数量 TPS（使用SASL） TPS（不使用SASL） 计算增强型4核8GB 超高IO 3 170000 500000 计算增强型8核16GB 超高IO 3 200000 730000 计算增强型16核32GB 超高IO 3 360000 886000 测试场景二（同步/异步复制）：相同的实例（超高I/O、3个节点、不使用SASL） 实例规格 分区数 副本数 TPS（同步复制） TPS（异步复制） 计算增强型4核8GB 30 3 238000 500000 计算增强型8核16GB 30 3 315000 730000 计算增强型16核32GB 30 3 375000 886000 测试场景三（不同磁盘类型）：相同的Topic（30分区，3副本，异步复制） 实例规格 是否使用SASL 节点数量 TPS（高IO） TPS（超高IO） 计算增强型4核8GB 不使用 3 135000 500000 计算增强型8核16GB 不使用 3 240000 730000 计算增强型16核32GB 不使用 3 280000 886000 测试场景四（不同分区数）：相同的实例（超高I/O、3个节点、不使用SASL） 实例规格 是否同步复制 副本数 TPS（3分区） TPS（12分区） TPS（100分区） 计算增强型4核8GB 否 3 330000 280000 260000 计算增强型8核16GB 否 3 480000 410000 340000 计算增强型16核32GB 否 3 534000 744000 630000

本文介绍如何在事件总线EventBridge管理控制台添加分布式消息服务MQTT类型的自定义事件源。 前提条件 事件总线EventBridge 开通事件总线EventBridge并授权。 创建自定义总线。 分布式消息服务MQTT 开通分布式消息服务MQTT并创建实例。 操作步骤 1. 登录事件总线管理控制台。 2. 在左侧导航栏，单击事件总线。 3. 在事件总线页面，单击目标总线名称。 4. 在左侧导航栏，单击事件源。 5. 在事件源 页面，单击添加事件源。 6. 在添加自定义事件源 面板，输入名称 和描述 ，事件提供方 选择分布式消息服务MQTT，选择或填入主题等配置然后单击确认，如图1所示。 图1 创建事件源时事件提供方选择分布式服务MQTT 参数说明 参数 说明 示例 名称 事件源名。 test MQTT实例 选择MQTT实例。 instancexxx MQTT主题 选择或输入MQTT的主题。 topicxxx 事件示例 plaintext { "id": "b5771f766cdf48edb1bad15418c", "source": "sourcetest", "specversion": "1.0", "subject": "ctyun:mqtt:bb9fdb42056f1xxxxxx2ac110002:dab4124xxxxxx7eb2774f45c6a6db69:topic/

本章节介绍Kafka Broker分区Leader不可用故障演练。 背景介绍 分布式消息服务 Kafka 集群中，分区 Leader 节点宕机、网络分区或资源过载等因素均可能造成分区 Leader 不可用，进而引发对应分区服务中断、客户端请求失败、Leader 重选举导致延迟升高及副本同步紊乱等问题，本演练可帮助验证集群高可用选举机制的有效性、监控告警的及时性，以及业务系统应对此类故障的容错能力与恢复效率。 基本原理 指定一个或多个分区Leader，通过调用Kafka模拟Leader故障OpenAPI，触发Leader重新选举。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择分区Leader不可用动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 主题分区：指定需要模拟分区Leader不可用的目标对象。

参数 参数说明 发送通知 配置是否发送邮件、短信、HTTP和HTTPS通知用户。 通知对象 需要发送告警通知的对象，可选择“云账号联系人”或主题。 云账号联系人：注册账号时的手机和邮箱。 主题：消息发布或客户端订阅通知的特定事件类型，若此处没有需要的主题，需先创建主题并订阅该主题。 生效时间 该告警规则仅在生效时间内发送通知消息。 如生效时间为08:0020:00，则该告警规则仅在08:0020:00发送通知消息。 触发条件 出现告警

参数名称 参数说明 类型 作业类型，如Flink SQL作业。 名称 Flink作业名称。 描述 Flink作业描述信息。 状态 Flink作业运行状态。 运行模式 如果作业所属队列是共享队列，则作业的运行模式是共享模式。 如果作业所属队列是自定义的独享队列，则作业的运行模式是独享模式。 Flink版本 作业所选的Flink作业的版本。 优化参数 作业添加了自定义参数配置时显示该参数。 CU数量 作业配置的CU数量。 管理单元 作业配置的管理单元CU数量。 并行数 作业配置的同时运行Flink作业的任务数。 单TM所占CU数 作业配置的每个TaskManager所占CU数量。 单TM Slot数 作业配置的每个TaskManager Slot数量。 OBS桶 作业配置了OBS桶显示。当勾选“开启Checkpoint”和“保存作业日志”参数后，用于保存Checkpoint和作业运行日志。 保存作业日志 开启或关闭。 作业异常告警 开启或关闭。 SMN主题 作业配置的SMN主题名称。当作业勾选了“作业异常告警”参数时显示。 异常自动重启 开启或关闭。 异常重试最大次数 异常重试最大次数为无限时显示为“无限”，其余为设置的具体值。 保存点路径 保存点的OBS存储路径。 开启Checkpoint 开启或关闭。 Checkpoint间隔 将作业运行的中间结果保存到OBS的间隔时间，单位为秒。 Checkpoint模式 Checkpoint模式： atleastonce：事件至少被处理一次 exactlyonce：事件仅被处理一次 空闲状态保留时长 用于清除GroupBy或Window经过最大保留时间后仍未更新的中间状态。 脏数据策略 作业出现脏数据时的处理策略。作业配置脏数据策略时显示该参数。 忽略。 抛出异常。 保存。 脏数据转储地址 “脏数据策略”选择“保存”时，保存脏数据的OBS路径。 创建时间 作业创建的具体时间。 更新时间 作业最近一次更新的时间。