本章节主要介绍如何快速创建Kafka流式集群。 本章节为您介绍如何快速创建一个Kafka流式集群，Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量，可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景，实现高效的流式数据采集，实时数据处理存储等。 快速创建Kafka流式集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息，参数详细信息请参考创建自定义集群。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20200321”。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：不同版本集群提供的组件有所不同，请根据需要选择集群版本。 组件选择：选择“Kafka流式集群”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 集群高可用：默认即可。MRS 3.x版本暂时不支持该参数。 LVM：默认即可。MRS 3.x版本暂时不支持该参数。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权，通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态部分 集群列表参数中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

术语 说明 cURL cURL是一个利用URL语法在命令行下工作的文件传输工具，可用于检测系统是否可以访问目标站点。 Dig Dig是一个在类Unix命令行模式下查询DNS信息（包括NS记录、A记录、MX记录等）的工具。 基线核查 基线核查是指对主机操作系统、数据库、软件和容器的配置进行安全检测，并提供检测结果说明和加固建议。 基线核查可以帮您进行系统安全加固，降低入侵风险并满足安全合规要求。 漏洞扫描 漏洞扫描是指基于漏洞数据库，通过扫描等手段对指定的远程或者本地计算机系统的安全脆弱性进行检测，发现可利用漏洞的一种安全检测（渗透攻击）行为。 引擎 本文的“引擎”为扫描核心技术，即最终进行漏洞扫描工作的服务。 资产 即扫描器所扫描的主机、数据库、网站等。 DDoS 分布式拒绝服务攻击（Distributed Denial of Service Attack，DDoS）是指处于不同位置的多个攻击者同时向一个或数个目标发动攻击，或者一个攻击者控制了位于不同位置的多台机器并利用这些机器对受害者同时实施攻击。由于攻击的发出点是分布在不同地方的，这类攻击称为分布式拒绝服务攻击，其中的攻击者可以有多个。 EDR 端点检测与响应（Endpoint Detection & Response，EDR）是一种主动的安全方法，可以实时监控端点，并搜索渗透到防御系统中的威胁。EDR是一种新兴的技术，可以更好地了解端点上发生的事情，提供关于攻击的上下文和详细信息。 认证 是一种信用保证形式。按照国际标准化组织（ISO）和国际电工委员会（IEC）的定义，由国家认可的认证机构证明一个组织的产品、服务、管理体系符合相关标准、技术规范（TS）或其强制性要求的合格评定活动。 虚拟机 虚拟机（Virtual Machine）指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。 在实体计算机中能够完成的工作在虚拟机中都能够实现。 在计算机中创建虚拟机时，需要将实体机的部分硬盘和内存容量作为虚拟机的硬盘和内存容量。每个虚拟机都有独立的CMOS、硬盘和操作系统，可以像使用实体机一样对虚拟机进行操作。 AES 密码学中的高级加密标准（Advanced Encryption Standard，AES），又称Rijndael加密法，是美国联邦政府采用的一种区块加密标准。这个标准用来替代原先的DES（Data Encryption Standard），已经被多方分析且广为全世界所使用。 Apache Apache是一款Web服务器软件。它可以运行在几乎所有广泛使用的计算机上，由于其跨平台和安全性被广泛使用，是最流行的Web服务器端软件之一。 CC攻击 CC攻击（Challenge Collapsar Attack，挑战黑洞攻击）是DDoS攻击的一种类型，使用代理服务器向受害服务器发送大量假冒合法的请求，造成被攻击服务器资源耗尽，一直到宕机崩溃。 DES DES（Data Encryption Standard，数据加密标准）是一种使用密钥加密的块算法，1977年被美国联邦政府的国家标准局确定为联邦资料处理标准（FIPS），并授权在非密级政府通信中使用，随后该算法在国际上广泛流传开来。 HA 高可靠性（High Availability，简称HA）能够在通信线路或设备发生故障时提供备用方案，防止由于单个产品故障或链路故障导致网络中断，保证网络服务的连续性。 LACP LACP（Link Aggregation Control Protocol，链路聚合控制协议）是一种基于IEEE802.3ad标准的协议。 LACP协议通过LACPDU（Link Aggregation Control Protocol Data Unit，链路聚合控制协议数据单元）与对端交互信息。链路聚合往往用在两个重要节点或繁忙节点之间，既能增加互联带宽，又提供了连接的可靠性。 LDAP LDAP（Lightweight Directory Access Protocol，是轻量目录访问协议）是互联网上目录服务的通用访问协议。 LDAP服务可以有效解决众多网络服务的用户账户问题，LDAP服务器是用于查询和更新LDAP目录的服务器，包括用户账号目录。 MTU 最大传输单元（Maximum Transmission Unit，MTU）用来通知对方所能接受服务单元的最大尺寸，说明发送方能够接受的有效荷载大小。 SSL SSL（Secure Sockets Layer，安全套接字协议）及TLS（Transport Layer Security，继任者传输层安全）是为网络通信提供安全及数据完整性的一种安全协议。TLS与SSL在传输层与应用层之间对网络连接进行加密。 VRRP 虚拟路由冗余协议（Virtual Router Redundancy Protocol，简称VRRP）是由IETF提出的解决局域网中配置静态网关出现单点失效现象的路由协议，它是一种路由容错协议，也可以叫做备份路由协议。 WebShell Webshell就是以asp、php、jsp或者cgi等网页文件形式存在的一种命令执行环境，也可以将其称为一种网页后门。 黑客在入侵了一个网站后，通常会将asp或php后门文件与网站服务器Web目录下正常的网页文件混在一起，然后就可以使用浏览器来访问asp或者php后门，得到一个命令执行环境，以达到控制网站服务器的目的。 Kafka Kafka是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者规模的网站中所有动作流数据。这些数据通常由于吞吐量要求而通过处理日志和日志聚合来解决。 SNMP SNMP（Simple Network Management Protocol，简单网络管理协议）是标准IP网络管理协议，支持目前主流的网络管理系统。 SQL SQL（Structured Query Language，结构化查询语言）是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。 Syslog Syslog是一种行业标准的协议，可用来记录设备的日志。 Syslog日志消息既可以记录在本地文件中，也可以通过网络发送到接收Syslog的服务器。服务器可以对多个设备的Syslog消息进行统一的存储，或者解析其中的内容做相应的处理。常见的应用场景是网络管理工具、安全管理系统、日志审计系统。

产品服务等级协议请查看： 分布式消息服务RocketMQ服务等级协议

1、 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2、 登录分布式消息服务RocketMQ控制台，点击左上角地域选择对应资源池。 3、 进入实例列表，点击【管理】按钮进入管理菜单。 4、 进入用户管理菜单，点击【创建用户】按钮 5、 在弹出的创建用户页面，填写如下字段信息，点击确认保存。 （1）用户ID：必填，764位字符，只能输入大小写字母，下划线，数字。 （2）密钥：必填，8～26个字符，必须同时包含大写字母、小写字母、数字和英文格式特殊符号(@%^+!$.)中的至少三种类型且不能包含空格。 （3）IP白名单：非必填。 （4）默认Topic权限 DENY：拒绝所有操作。 PUB：仅允许发布消息到Topic。 PUBSUB：允许发布+订阅。 SUB：仅允许订阅Topic消息。 （5）默认消费组权限 DENY：拒绝所有操作。 SUB：允许订阅Topic并关联该消费组。 （6）备注：按需备注该用户的说明。 （7）管理员：有Topic和消费组所有权限。

本章节介绍了如何查询分布式消息服务RocketMQ实例的Topic。 操作场景 Topic创建成功后，查询Topic相关的配置和状态信息。 操作步骤 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在左侧导航栏，单击“Topic管理”，进入“Topic管理”页面。 4. 单击需要查询的Topic名称，进入Topic详情页面。 在详情页上方可以查看Topic名称、关联代理、读队列个数、写队列个数和权限。 在详情页下方可以查看Topic在每个代理上的队列状态，包括队列ID、最小偏移量、最大偏移量和消息更新时间。还可以查看消费组消费此Topic的情况，包括消费组名称、最大重试次数和广播消费。 图 Topic详情

18. 分布式DDL报错 增加distributedddltasktimeout的超时时间：默认情况下，distributedddltasktimeout参数设置为600秒（10分钟）。如果DDL操作较复杂或涉及大量数据，可以适当增加此超时时间。通过修改distributedddltasktimeout参数的值，将超时时间延长至满足DDL操作的需求。 优化DDL操作的性能：检查DDL操作是否可以进行性能优化。例如，可以考虑通过调整DDL语句的执行顺序、优化查询语句或减少表的分区数量等方式来改善DDL操作的性能。确保DDL操作在执行时能够高效地利用系统资源。 增加系统资源：分布式DDL操作可能需要大量的系统资源，包括CPU、内存和磁盘。如果系统资源不足，可以考虑增加硬件资源或优化系统配置，以提供足够的资源支持DDL操作的执行。 拆分DDL操作：如果DDL操作涉及多个表或大量数据，可以考虑将DDL操作拆分为较小的步骤或批次进行执行。通过将DDL操作分解为更小的任务单元，可以减少单个DDL操作的执行时间和资源消耗，从而降低超时风险。 检查网络连接和节点状态：确保网络连接稳定，并检查参与分布式DDL操作的各个节点的状态。网络故障或节点故障可能导致分布式DDL操作超时。确保网络连接良好，并监视集群中各个节点的状态以确保正常运行。 19. 没有从Kafka中读取数据 可以尝试执行SELECT语句来查询Kafka外表的数据，并观察是否有报错信息。如果查询发生报错，通常是由于数据解析失败所致。您可以根据报错信息来确定具体的原因。 如果SELECT查询正常返回结果，接下来需要检查目的表（即Kafka外表的存储表）和Kafka源表（即Kafka外表）之间的字段是否匹配。确保字段名称和数据类型一致，以确保数据能够正确写入。 如果数据写入仍然失败，那可能是由于字段不匹配导致的。您可以尝试使用INSERT INTO语句，将Kafka外表的数据插入到目的表中。 通过逐步检查和调试，您可以逐步解决Kafka外表数据不增加的问题。确保数据能够正确读取和写入，以满足您的需求。

为了让更多客户享受到分布式消息MQTT产品服务，我们致力于为客户提供更具竞争力的价格，并持续提升服务质量。 分布式消息服务MQTT自9月25日起开始启用新资费计价，老资费通用型同规格对比新费用降幅达78%84%。 实例规格参数 实例价格费用明细 降幅 实例规格参数 调整前 调整后 降幅 实例规格参数 单价（元/节点/月） 总费用（元/月） 单价（元/节点/月） 总费用（元/月） 降幅 s7.xlarge.4，4vCPUs 16GiB，3节点 4548 13644 720 2160 84% s7.2xlarge.4，8vCPUs 32GiB，3节点 8288 24864 1620 4860 80% s7.4xlarge.4，16vCPUs 64GiB，3节点 14976 44928 3240 9720 78% 同时新增包年折扣优惠，即日起订购分布式消息服务MQTT产品享受1年83折 优惠，11月将陆续开放2年7折，3年5折优惠选项，具体开放时间敬请关注产品公告。 此外，为保障更优的性能，11月计划上架Intel计算增强型规格，原通用型规格将调整为白名单特性，原老客户实例续订不受影响，新用户和新实例订购推荐开通计算增强型规格产品。

背景信息 分布式消息服务RabbitMQ为用户提供全面周到的服务，支持用户退订需求。用户如不需要继续使用该分布式消息服务RocketMQ实例，可进行删除实例操作，即退订操作。 操作步骤 （1）登录管理控制台。 （2）进入RabbitMQ管理控制台。 （3）当前页面会列出所购买的RabbitMQ实例。选择需要退订的实例，点击更多退订。 注意： 退订的实例处于冻结状态，请务必在实例退订前停止全部的应用。 在申请退订前，请做好数据备份工作，退订后数据将保留15个自然日，15天后相关数据将不予保留，且不会进行备份，务必谨慎操作。

计费项 分布式消息服务MQTT的计费项由实例费用组成，具体费用详情见下文实例规格单价。 计费项 含义 适用的计费模式 实例费用 用户选择的选择的实例规格计费，具体请参见产品规格。 按需/包周期 说明 分布式消息服务MQTT如下资源池支持X86计算CPU架构类型的计算增强型主机，提供集群和单机两种规格实例，集群版可选39代理数量。 目前在 华东1、长沙42、华南2、武汉41、西南1、华北2、呼和浩特3、太原4 资源池开放订购。 上述资源池订购和续订可享受1年83折，2年7折，3年5折优惠。 价格计算公式 分布式消息服务MQTT实例费用单价如下表所示，计费公式为： 实例费用实例规格单价 代理数量，单机版代理数量为1。 实例规格单价 Intel计算增强型 规格名称 实例单价（单个节点） 规格名称 按需标准价格(元/小时) 包月标准价格(元/月) mqtt.2u4g.cluster 0.98 441 mqtt.4u8g.cluster 2.24 1008 mqtt.8u16g.cluster 4.86 2187 mqtt.12u24g.cluster 7.38 3321 mqtt.16u32g.cluster 9 4050

本章节介绍了如何删除分布式消息服务RocketMQ实例的Topic。 操作场景 Topic无需继续使用，需要清理时，参考本章节删除Topic。 前提条件 仅在实例的“状态”为“运行中”时，才可以删除实例中的Topic。 操作步骤 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在左侧导航栏，单击“Topic管理”，进入“Topic管理”页面。 图1 Topic管理 4. 选择以下任意一种方法删除Topic。 在待删除的Topic所在行，单击“删除”。 单击待删除的Topic名称，进入Topic详情页面。在页面右上角，单击“删除”。 如需批量删除Topic，勾选待删除的Topic，单击“删除Topic”。 须知： 删除Topic会导致消息丢失，请谨慎操作。 5. 单击“是”，确认删除Topic。

本章节主要介绍翼MapReduce服务Kafka健康检查指标项说明。 Broker可用节点数 标项名称 ：Broker数目 指标项含义 ：检查集群中可用的Broker节点数，若集群中可用的Broker节点数小于2，则认为不健康。 恢复指导 ：如果该指标项异常，进入Kafka服务实例页面，单击不可用Broker实例的“主机名”，在“概要信息”中查看主机的健康状态，若为“良好”，则参见“进程故障”告警进行处理；若不为“良好”，则参见“节点故障”告警进行处理。 服务健康状态 指标项名称 ：服务状态 指标项含义 ：检查Kafka服务状态是否正常。如果状态不正常，则认为不健康。 恢复指导 ：如果该指标项异常，建议参见“Kafka服务不可用”告警进行处理。 检查告警 指标项名称 ：告警信息 指标项含义 ：检查服务是否存在未清除的告警。如果存在，则认为不健康。 恢复指导 ：如果该指标项异常，建议参见告警进行处理。

本章节主要介绍如何查看分布式消息服务RabbitMQ的监控数据。 操作场景 云监控对RabbitMQ实例的运行状态进行日常监控，可以通过控制台直观的查看RabbitMQ实例各项监控指标。 前提条件 已创建RabbitMQ专享版实例，且实例中有可消费的消息。 操作步骤 1. 登录管理控制台。 2. 在管理控制台右上角单击，选择区域。 说明 此处请选择与您的应用服务相同的区域。 3. 在管理控制台左上角单击，选择“企业中间件”>“分布式消息服务”>“RabbitMQ专享版”，进入分布式消息服务RabbitMQ专享版页面。 4. 通过以下任意一种方法，查看监控数据。 在RabbitMQ实例名称后，单击“查看监控数据”。跳转到云监控页面，查看实例、节点和队列的监控数据，数据更新周期为1分钟。 单击RabbitMQ实例名称，进入实例详情页。在左侧导航栏单击“监控”，进入监控页面，查看实例、节点和队列的监控数据，数据更新周期为1分钟。 在“队列”的监控页面中，如果队列在默认Vhost下，会直接显示队列名。如果队列不在默认Vhost下，队列名称显示为：队列所在的Vhost名称队列名。例如：队列test01在Vhost13142708中，此时监控中显示的队列名为“Vhost13142708test01”。 图1 队列的监控页面

介绍分布式消息服务RabbitMQ仲裁队列功能。 使用场景 仲裁队列（Quorum Queue）是基于Raft一致性协议实现的一种新型的分布式消息队列，针对RabbitMQ的镜像模式设计。仲裁队列中的消息需要有集群中过半节点同意确认后，才会写入到队列中。 仲裁队列与镜像队列的差异 使用镜像队列，当生产者发送一条消息，主队列会将消息同步给镜像队列，所有的镜像队列都保存消息后，主队列才会向生产者发送确认。 仲裁队列的算法是基于Raft共识算法的一个实现。仲裁队列包含一个主副本和多个从副本，当生产者向主副本发送消息时，主副本会将消息同步给从副本，当超过半数的副本保存消息后，主副本才会向生产者发送确认。并且，主副本的选举也需要超过半数的副本同意，这会避免出现网络分区时队列元数据不一致。所以仲裁队列有更高的一致性。 配置方法 在声明队列时，将队列的“xqueuetype”参数设置为“quorum”。 以下为java示例 Map arguments newHashMap<>(); arguments.put("xqueuetype", "quorum"); channel.queueDeclare("testquorumqueue", true, false, false, arguments); 设置仲裁队列的长度 通过设置队列属性的方式可以限制仲裁队列的长度和在内存中保存的长度。 xmaxlength：仲裁队列的最大消息数。如果超过则丢弃消息，或者发送到死信交换器。 xmaxlengthbytes：仲裁队列的最大总消息大小（字节数）。如果超过则丢弃消息，或者发送到死信交换器。 xmaxinmemorylength：限制仲裁队列的内存中最大消息数量。 xmaxinmemorybytes：限制仲裁队列的内存中的最大总消息大小（字节数）。

如何获取RocketMQ实例连接信息请参阅收集连接信息。 开发指南详细介绍Java、Go和Python客户端访问分布式消息服务RocketMQ的示例代码，具体如表1所示。 表1 示例代码 客户端语言 示例代码 :: Java 收发普通消息 收发顺序消息 收发事务消息 发送定时/延时消息 Go（TCP协议） 收发普通消息 收发顺序消息 收发事务消息 发送定时/延时消息 Python（TCP协议） 收发普通消息 收发顺序消息 收发事务消息 发送定时/延时消息

2、配置同步 1）点击配置同步，推送配置。 3、重启服务 1）重启FlinkHistoryServer服务，推荐滚动重启。 Kyuubi 1、修改配置 1）前往Manager页面，集群服务> Kyuubi集群> 配置管理> default配置组> 配置文件kyuubidefaults.conf > 配置项kyuubi.ha.addresses。 2）将新的ZK节点，添加到配置项kyuubi.ha.addresses中。 3）相同操作：同时修改client配置组的配置项。 2、配置同步 1）点击配置同步，推送配置。 3、重启服务 1）需要重启Kyuubi服务，推荐滚动重启。 HBase 1、修改配置 1）前往Manager页面，集群服务> HBase集群> 配置管理> default配置组> 配置文件hbasesite.xml > 配置项hbase.zookeeper.quorum。 2）将新的ZK节点，添加到配置项hbase.zookeeper.quorum中。 3）相同操作：同时修改client配置组的配置项。 2、配置同步 1）点击配置同步，推送配置。 3、重启服务 1）需要重启HBase所有服务，包含HMaster和HRegionServer，推荐滚动重启。 Kafka 警告：Kafka不建议重启，所以不建议修改ZK节点。 原因：Kafka每个节点都是有状态的，每个节点的主分区都不一样，重启会导致业务受影响。 1、修改配置 1）前往Manager页面，集群服务> Kafka集群> 配置管理> default配置组> 配置文件server.properties > 配置项zookeeper.connect。 2）将新的ZK节点，通过vs统一修改3个配置，添加到配置项zookeeper.connect中。 2、配置同步 1）点击配置同步，推送配置。 3、重启服务 1）需要重启Kafka所有服务。请谨慎进行Kafka集群的重启操作。

本文为您介绍分布式消息服务MQTT常用业务应用场景。 分布式消息服务MQTT广泛应用于移动互联网以及物联网领域，包括智能抄表、智能家居、即时聊天等多种应用场景。 智能抄表 电表、水表、燃气表已是每个家庭必备，集成消息队列 MQTT 系统后，再无需进行人工抄表，所有住户的用电、用水、燃气、供暖数据都可由数据后台一键抄取，省时省力避免上门催收的尴尬，助力能源管理部门提供更优质服务。 智能家居 通过门监测住户出入行为，同时结合实时气温与时间，控制空调、灯具、电视机、音箱等的启动和关闭。 即时聊天 MQTT作为一种轻量级、可扩展的通信协议，提供了一种可靠的、实时的消息传递机制，使得即时聊天应用能够高效地处理用户之间的实时通信需求，为实时通信提供了有效的解决方案。

介绍分布式消息服务RabbitMQ单一活跃消费者功能。 使用场景 在默认direct模式下, 多个消费者订阅一个queue,消息会轮流发送至每个消费者。单一消费者模式下,消息只由一个消费者消费，除非该改消费者出现异常。由此可以保证消息消费的有序性。 使用示例 以下为java客户端示例，通过在声明队列时配置xsingleactiveconsumer参数实现单一活跃消费者。 Map arguments newHashMap(); arguments.put("xsingleactiveconsumer", true); channel.queueDeclare("testqueue", false, false, false, arguments);

介绍分布式消息服务RabbitMQ的功能使用限制。 限制项 约束和限制 描述 版本 当前服务端版本有3.8.9和3.8.35 兼容AMQP 091协议的客户端版本。 连接数 RabbitMQ单机和集群实例，不同实例规格的连接数上限不一致，具体限制，请参考产品规格。 。 通道数 2GB 磁盘剩余空间低于2GB会触发磁盘高水位，生产者流程被阻塞。 clusterpartitionhandling pauseminority 当集群发生网络分区时，代理会检查自己是否处于“少数派”（存储分区的代理数小于等于总代理数的一半称为少数派）。少数派中的代理将会自动关闭服务并定期检测网络状态，待分区恢复之后重新启动服务。如果未开启镜像队列，发生分区时少数派上的队列将无法生产消费。此策略相当于放弃了可用性而选择了数据一致性。 rabbitmqdelayedmessageexchange 插件延迟时间存在1%左右的误差，可能提前或者推迟发送消息给消费者。 实例是否开启消息延迟功能。 延时消息最大延时时间 7天 延时消息的最大延时时间。

本章节介绍了如何创建分布式消息服务RocketMQ实例的消费组。 操作场景 消费组，即一组具有相同行为的消费者集合，用于管理和维护消息的消费状态。 前提条件 已购买RocketMQ实例。 操作步骤 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在左侧导航栏，单击“消费组管理”，进入“消费组管理”页面。 4. 单击“创建消费组”，弹出“创建消费组”页面。 图1 创建消费组 5. 参考表1，填写消费组名称和配置信息。 表1 消费组参数说明 参数 说明 消费组名称 您可以自定义消费组名称，用于区别不同的消费行为。 创建消费组后不能修改名称。 关联代理 选择在某个或者某几个代理上创建消费组。 创建消费组后不能修改关联代理。 最大重试次数 设置普通消费的最大重试次数。如果是顺序消费，可通过消费者的setMaxReconsumeTimes函数配置。 广播消费 是否设置为广播消费。 若开启广播消费，每条消息都会被消费组内的所有消费者消费一次。否则，每条消息只会被消费组内的某一消费者消费。 6. 配置完成后，单击“确定”，完成消费组的创建。

本节介绍了分布式消息服务RabbitMQ产品的计费项。 RabbitMQ包括2个计费项：RabbitMQ队列实例费用、RabbitMQ队列存储空间费用，具体费用详情可参考产品资费。 目前天翼云对分布式消息服务RabbitMQ产品支持包年包月、按需两种计费方式。 计费项 计费项说明 使用的计费模式 计费公式 实例费用 计费因子：代理规格和代理数量 包年/包月、按需计费 实例规格单价 代理数量 购买时长 存储空间费用 计费因子：云硬盘类型、容量大小 包年/包月、按需计费 云硬盘规格单价 单个代理存储大小 代理数量 购买时长

产品服务协议请查看： 分布式消息服务协议

本文为您介绍分布式消息服务MQTT各功能项使用限制。 功能信息项 限制值 说明 实例名称 长度4~40个字符，大小写字母开头，只能包含大小写字母、数字及分隔符() 实例名称不可重复。 Topic 长度 64 个字符 Topic 长度不得超过该限制，否则会导致无法发送或者订阅。 Topic 和 Client ID 可用字符 仅限数字 09，字母 az 或 AZ，和符号“”、“” Client ID 和MQTT 的 Topic 不允许使用“/”、“:”、“,”、“%”等其他非常规字符，否则可能导致无法连接和收发消息。 Client ID 长度 64 个字符 使用微消息队列 MQTT 收发消息时，Client ID 长度不得超过该限制，否则会导致连接被断开。 消息大小 64 KB 字节 消息负载不得超过该限制，否则消息会被丢弃。 单个设备订阅Topic 数量 30 个 每个客户端最多允许同时订阅 30 个 Topic，超过该限制会导致无法新增新的订阅关系。 每个持久化会话离线消息存储数量 1,000,条 服务端会限制每个持久化会话的离线消息数量。超过该限制后，服务端会从最早的消息开始清理。因此，请合理使用持久化订阅模式，以免产生很多无用的离线消息。

场景描述 当需要处理大量消息时，MQTT实例的扩容是一种常见的解决方案。扩容可以增加MQTT集群的吞吐量和高可用性。分布式消息服务MQTT提供两种扩容方案，分别为节点、规格扩容，更好满足用户不同场景下的扩容需求。 节点扩容：指向MQTT集群中添加更多的节点以增加系统的吞吐量和可靠性。通过扩容，可以将消息的发送和消费负载分摊到更多的节点上，从而提高系统的并发处理能力。 规格扩容：指通过增加MQTT的资源配置来提升系统的处理能力和性能。 操作步骤 1、登录分布式消息服务MQTT控制台，可以看到当前租户下面的实例列表。 2、点击需要变更实例栏 > 更多 > 扩容。 3、进入到扩容页面，选择你需要扩容的规格，点击提交订单即可。 4、规格扩容：需选择比当前规格大的规格进行扩容，如当前规格为2C4G，扩容规格需为4C8G以上。 5、代理数量扩容/节点扩容，可输入4~16（大于当前节点数）。

本文介绍分布式消息服务RocketMQ的实例列表操作内容。 订购前准备 在创建天翼云分布式消息服务RocketMQ实例之前，您需要做一些准备工作。 首先，您需要设置一个虚拟私有云（VPC），这是一个隔离的网络环境，用于托管RocketMQ实例。 接下来，您需要创建一个子网，它是VPC内部的一个子网络，用于划分不同的部分和区域。 最后，您需要配置一个安全组，用于控制入站和出站的流量规则，以保证RocketMQ实例的安全性。 每个分布式消息服务RocketMQ实例都会被部署在特定的VPC中，并与特定的子网和安全组相关联。这种方式可以让您自主配置和管理RocketMQ实例的网络环境，并提供安全保护策略。如果您已经有了现成的VPC、子网和安全组，可以重复使用它们，无需重复创建。这样可以节省时间和资源，并确保一致性和可靠性。 VPC和子网 VPC和子网可重复使用，您也可以使用不同的VPC和子网来配置RocketMQ实例，您可根据实际需要进行配置。在创建VPC和子网时应注意如下要求： VPC与使用的天翼云分布式消息服务RocketMQ服务应在相同的区域。 如无特殊需求，创建VPC和子网的配置参数使用默认配置即可。 创建VPC和子网的操作请参考虚拟私有云创建VPC、子网搭建私有网络。 若需要在已有VPC上创建和使用新的子网，请参考虚拟私有云子网管理创建子网。 要注意的是： 如果用户需要创建ipv4实例，则VPC子网只需配置ipv4子网。 如果用户需要创建ipv6实例，则vpc子网只需配置ipv4/ipv6双栈子网。

本文介绍分布式消息服务RocketMQ入门指引的环境准备内容。 概述 在创建天翼云分布式消息服务RocketMQ实例之前，您需要做一些准备工作。 首先，您需要设置一个虚拟私有云（VPC），这是一个隔离的网络环境，用于托管RocketMQ实例。 接下来，您需要创建一个子网，它是VPC内部的一个子网络，用于划分不同的部分和区域。 最后，您需要配置一个安全组，用于控制入站和出站的流量规则，以保证RocketMQ实例的安全性。 每个分布式消息服务RocketMQ实例都会被部署在特定的VPC中，并与特定的子网和安全组相关联。这种方式可以让您自主配置和管理RocketMQ实例的网络环境，并提供安全保护策略。如果您已经有了现成的VPC、子网和安全组，可以重复使用它们，无需重复创建。这样可以节省时间和资源，并确保一致性和可靠性。 VPC和子网 VPC和子网可重复使用，您也可以使用不同的VPC和子网来配置RocketMQ实例，您可根据实际需要进行配置。在创建VPC和子网时应注意如下要求： VPC与使用的天翼云分布式消息服务RocketMQ服务应在相同的区域。 如无特殊需求，创建VPC和子网的配置参数使用默认配置即可。 创建VPC和子网的操作请参考虚拟私有云创建VPC、子网搭建私有网络。 若需要在已有VPC上创建和使用新的子网，请参考虚拟私有云子网管理创建子网。 要注意的是： 如果用户需要创建ipv4实例，则VPC子网只需配置ipv4子网。 如果用户需要创建ipv6实例，则vpc子网只需配置ipv4/ipv6双栈子网。

本章节主要介绍如何重置分布式消息服务RabbitMQ实例的密码。 操作场景 如果您忘记了创建实例时设置的密码，通过重置密码功能，重新设置一个新的密码，使用新密码连接RabbitMQ实例。 说明 只有处于“运行中”状态的RabbitMQ实例支持重置密码。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 此处请选择RabbitMQ实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”>“分布式消息服务”>“RabbitMQ专享版”，进入分布式消息服务RabbitMQ专享版页面。 步骤 4 通过以下任意一种方法，重置实例密码。 在待重置密码的实例所在行，单击“更多 > 重置密码”。 单击RabbitMQ实例名称，进入实例详情页面。单击右上角的“更多 > 重置密码”。 步骤 5 输入“新密码”和“确认密码”，单击“确定”完成密码重置。 重置密码成功，界面提示重置实例的密码成功。 重置密码失败，界面提示重置实例的密码失败，请重新尝试重置密码操作。如果多次重置失败，请联系客服处理。 说明 只有所有代理都重置密码成功，才会提示重置密码成功，否则会提示重置失败。

产品服务协议请查看： 天翼云分布式消息服务协议

操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 此处请选择RabbitMQ实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”>“分布式消息服务”>“RabbitMQ专享版”，进入分布式消息服务RabbitMQ专享版页面。 步骤 4 单击待开启插件的实例名称，进入实例详情页面。 步骤 5 在“插件管理”页签，单击待开启插件后的“开启”。 确认开启后，等待实例插件开启成功。

本章节介绍应用容灾多活的消息层配置。 概述 消息层配置主要包括消息队列 和消息同步，每个单元组可以单独进行配置，不同单元的消息队列之间通过消息路由服务进行同步。 应用容灾多活通过控制面与数据面协同，对指定Topic消息进行打标与过滤。当某个单元发生故障时，可以通过切流任务将故障单元的消息在其他正常单元进行回溯接管，从而保障消息不丢失。 图 消息层配置 前提条件 已开通消息层功能模块。 已完成系统架构配置以及路由规则配置。 已为应用开通分布式消息服务RocketMQ实例。 已为不同站点的实例创建同名的Topic和Group。 配置消息队列 1. 登录应用高可用服务控制台。 2. 单击左侧菜单栏应用容灾多活 ，在应用容灾多活菜单下单击数据双活/应用双活 ，进入数据双活/应用双活管理页面。 3. 在应用系统列表中找到需要配置的应用系统，单击应用系统名称 ，进入应用系统概览页面。 4. 单击左侧导航栏容灾配置 ，在容灾配置菜单下单击消息层配置 ，进入容灾配置消息层配置页面。 5. 单击消息队列 配置列表上方创建 按钮，弹出创建消息队列配置页面。 6. 如下表示例，填写配置信息，单击确定按钮，完成配置。 7. 如需修改或删除消息队列配置，可单击所选配置操作列修改 或删除按钮，根据界面提示进行操作。 表 消息队列配置 配置项 描述 示例 消息队列名称 消息队列自定义标识。 商城北京消息队列 站点 消息队列部署所在站点。 北京站点 产品类型 消息队列技术类型： RocketMQ RocketMQ 实例类型 消息队列产品类型。 云实例 消息队列实例 消息队列对应的云实例ID。 RocketMQ810

本章节主要介绍翼MapReduce服务在不同场景下的应用。 大数据在人们的生活中无处不在，在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用云MRS服务进行大数据处理。 海量数据分析场景 海量数据分析是现代大数据系统中的主要场景。通常企业会包含多种数据源，接入后需要对数据进行ETL（ExtractTransformLoad）处理形成模型化数据，以便提供给各个业务模块进行分析梳理，这类业务通常有以下特点： 对执行实时性要求不高，作业执行时间在数十分钟到小时级别。 数据量巨大。 数据来源和格式多种多样。 数据处理通常由多个任务构成，对资源需要进行详细规划。 例如在环保行业中，可以将天气数据存储在OBS，定期转储到HDFS中进行批量分析，在1小时内MRS可以完成10TB的天气数据分析。 详见下图：环保行业海量数据分析场景 该场景下MRS的优势如下所示。 低成本：利用OBS实现低成本存储。 海量数据分析：利用Hive实现TB/PB级的数据分析。 可视化的导入导出工具：通过可视化导入导出工具Loader，将数据导出到DWS，完成BI分析。 海量数据存储场景 用户拥有大量结构化数据后，通常需要提供基于索引的准实时查询能力，如车联网场景下，根据汽车编号查询汽车维护信息，存储时，汽车信息会基于汽车编号进行索引，以实现该场景下的秒级响应。通常这类数据量比较庞大，用户可能保存1至3年的数据。 例如在车联网行业，某车企将数据储存在HBase中，以支持PB级别的数据存储和毫秒级的数据详单查询。 详见下图：车联网行业海量数据存储场景 该场景下MRS的优势如下所示。 实时：利用Kafka实现海量汽车的消息实时接入。 海量数据存储：利用HBase实现海量数据存储，并实现毫秒级数据查询。 分布式数据查询：利用Spark实现海量数据的分析查询。 实时数据处理 实时数据处理通常用于异常检测、欺诈识别、基于规则告警、业务流程监控等场景，在数据输入系统的过程中，对数据进行处理。 例如在梯联网行业，智能电梯的数据，实时传入到MRS的流式集群中进行实时告警。 详见下图：梯联网行业低时延流式处理场景 该场景下MRS的优势如下所示。 实时数据采集：利用Flume实现实时数据采集，并提供丰富的采集和存储连接方式。 海量的数据源接入：利用Kafka实现万级别的电梯数据的实时接入。

本节为您介绍数据库迁移工具目标库高级配置。 batch.size 用于指定缓冲区一批数据最大值 linger.ms 指定如果数据迟迟未达到 batch.size，等待linger.time之后就会发送数据 buffer.memory RecordAccumulator 缓冲区总大小 acks 0：生产者发送过来的数据，不需要等数据落盘应答 1：生产者发送过来的数据，Leader收到数据后应答 1（all）：生产者发送过来的数据，Leader+和 isr 队列里面的所有节点收齐数据后应答 max.in.flight.requests.per.connection 允许最多没有返回 ack 的次数，默认为 5，开启幂等性要保证该值是 15 的数字 retry.backoff.ms 当消息发送出现错误的时候，系统会重发消息的重试次数 compression.type 生产者发送的所有数据的压缩方式 partition 指定kafka分区

介绍创建用户并授权使用Kafka 对资源进行精细访问控制 您可以使用统一身份认证（Identity and Access Management，简称IAM）服务对所拥有的Kafka服务进行精细的权限管理。IAM用户的作用是多用户协同操作同一帐号时，避免分享帐号的密码。 您注册后，系统自动创建帐号，帐号是对其所拥有的资源具有完全控制权限，可以访问系统中所有的云服务。若您的团队或应用程序需要使用您的Kafka资源，您可以为员工或应用程序创建IAM用户，并授予IAM用户刚好能完成工作所需的权限，新创建的IAM用户可以使用自己单独的用户名和密码登录云服务平台。 前提条件 基于IAM服务进行权限管理控制时，您需先了解Kafka的策略管理，包含Kafka所支持的系统策略管理，以及各策略间资源粒度的授权情况。 授权流程 左侧导航栏分别包含“用户组”、“子用户”、“策略管理”、“企业项目”，用户根据个人需要进行操作资源的权限控制。 授权具体流程为：创建IAM用户 > 创建用户组并授权Kafka资源权限 > 为IAM用户授权，具体操作步骤如下： 创建IAM用户 使用天翼云网门户的用户管理功能，给员工或应用程序创建IAM子用户。 步骤 1 企业的天翼云管理员使用已注册的天翼云帐号登录天翼云网门户。 步骤 2 鼠标移动至天翼云首页右上角用户头像，在下拉列表中单击“个人中心”。 步骤 3 个人中心左侧菜单中，单击“主子账号及授权管理”。 步骤 4 在主子账号及授权管理页，单击左侧导航菜单中的“子用户”。 步骤 5 在“子用户”管理界面中，单击“创建子用户”。 步骤 6 在弹出的创建用户对话框中，输入子用户信息。 步骤 7 单击“确定”，完成IAM用户创建，返回子用户列表，将显示新创建的IAM用户。