本文主要介绍云搜索服务的应用场景。 日志检索分析 云搜索服务可以采集分析各类以文件形式存储的日志，包括不限于服务器、容器日志等。结合消息队列Kafka、Logstash对日志数据进行采集清洗，进入Elasticsearch或OpenSearch中存储检索分析，并通过Kibana或Dashboards进行可视化呈现。 高稳定：通过读写限流、查询熔断、集群监控等方式保障。 性能优化：通过支持压缩算法、内核增强节省存储空间，增强读写速率、降低响应延迟。 易用性：支持多种统计分析方法、划分维度，丰富的可视化查询，可对接BI实现拖拽式报表。 站内搜索 面对海量数据，提供分布式的信息检索工具，可根据网站内容进行关键字检索，也可搭建商品检索或推荐系统。 实时检索：支持模糊搜索，数据来源多样且持续写入，站内资料或商品信息更新数秒内即可被检索。 分类统计：检索同时可以将符合条件的结果进行排序或分类统计。 多场景适配：可用于网站、移动端应用搜索、企业内部应用等多种需要快速检索的场景。 数据分析 提供开箱即用的可视化、高聚合分析能力，便捷高效地对海量数据实时分析。更好地适配实时多维分析在线查询服务场景，满足高实时性，高查询QPS，低查询延迟的数据分析要求。 快速响应：支持海量的、数据源多样、字段不固定的数据高并发处理，毫秒级响应。 复杂查询：支持大批量模糊关键字搜索及一些聚合的复杂查询。 向量检索：基于向量特征相似度匹配，支持图文搜索、地理位置搜索。

本章节介绍了分布式消息服务RocketMQ的产品规格。 分布式消息服务RocketMQ兼容开源RocketMQ 4.8.0，具体产品规格如下。 分布式消息服务RocketMQ 分布式消息服务RocketMQ产品规格由以下六个维度定义： 资源规格：定义使用的弹性云服务器的规格类型。 代理个数：定义实例的规模。 存储容量：定义单个代理可以保存的存储容量。 单个代理TPS：定义单个代理的TPS性能。 单个代理Topic数上限：定义单个代理可以创建的Topic数量。 单个代理消费组数上限：定义单个代理可以创建的消费组数量。 分布式消息服务RocketMQ支持的产品规格如表1所示。 表1 实例规格说明 资源规格 代理（个） 存储容量（GB/代理） 单个代理TPS 单个代理Topic数上限 单个代理消费组数上限 rocketmq.4u8g.cluster.small 1 ~ 2 300 ~ 60000 15000 2000 2000 rocketmq.4u8g.cluster 1 ~ 10 300 ~ 600000 20000 4000 4000 rocketmq.8u16g.cluster 1 ~ 10 300 ~ 900000 25000 8000 8000 rocketmq.12u24g.cluster 1 ~ 10 300 ~ 900000 28000 12000 12000 rocketmq.16u32g.cluster 1 ~ 10 300 ~ 900000 30000 16000 16000

节点名称 系统权限 权限描述 CDM Job DAYU Administrator 数据治理中心服务的所有执行权限。 Import GES GES Administrator 图引擎服务的所有执行权限。该角色有依赖，需要在同项目中勾选依赖的角色：Tenant Guest、Server Administrator。 MRS Presto SQL、MRS Spark、MRS Spark Python、MRS Flink Job、 MRS MapReduce MRS Spark SQL、MRS Hive SQL（通过MRS API方式连接MRS集群的） MRS Administrator KMS Administrator MRS Administrator：MapReduce服务的所有执行权限。该角色有依赖，需要在同项目中勾选依赖的角色：Tenant Guest、Server Administrator。 KMS Administrator：数据加密服务加密密钥的管理员权限。 MRS Spark SQL、MRS Hive SQL、MRS Kafka、Kafka Client（通过代理方式连接集群） DAYU Administrator KMS Administrator DAYU Administrator：数据治理中心服务的所有执行权限。 KMS Administrator：数据加密服务加密密钥的管理员权限。 DLI Flink Job、DLI SQL、DLI Spark DLI Service Admin 数据湖探索的所有执行权限。 DWS SQL、Shell、RDS SQL（通过代理方式连接数据源） DAYU Administrator KMS Administrator DAYU Administrator：数据治理中心服务的所有执行权限。 KMS Administrator：数据加密服务加密密钥的管理员权限。 CSS DAYU Administrator Elasticsearch Administrator DAYU Administrator：数据治理中心服务的所有执行权限。 Elasticsearch Administrator：云搜索服务的所有执行权限。该角色有依赖，需要在同项目中勾选依赖的角色：Tenant Guest、Server Administrator。 Create OBS、Delete OBS、OBS Manager OBS OperateAccess 查看桶、上传对象、获取对象、删除对象、获取对象ACL等对象基本操作权限 SMN SMN Administrator 消息通知服务的所有执行权限。

连接器类型 参数说明 数据仓库服务（DWS） 云数据库MySQL 云数据库PostgreSQL 云数据库SQL Server PostgreSQL Microsoft SQL Server SAP HANA 由于连接这些关系型数据库，所采用的JDBC驱动相同，所以他们的连接参数也一样，具体参数请参见 MySQL 连接MySQL数据库时，具体参数请参见 Oracle 连接Oracle数据库时，具体参数请参见 分库 连接达梦数据库时，具体参数请参见 对象存储服务（OBS） 连接OBS时，具体参数请参见 MRS HDFS FusionInsight HDFS Apache HDFS 连接MRS、Apache Hadoop或FusionInsight HD上的HDFS时，具体参数请参见 MRS HBase FusionInsight HBase Apache HBase 连接MRS、Apache Hadoop或FusionInsight HD上的HBase时，具体参数请参见 MRS Hive FusionInsight Hive Apache Hive 连接MRS、Apache Hadoop或FusionInsight HD上的Hive时，具体参数请参见 表格存储服务（CloudTable） 连接CloudTable时，具体参数请参见 FTP SFTP 连接FTP或SFTP服务器时，具体参数请参见 HTTP 用于读取一个公网HTTP/HTTPS URL的文件，包括第三方对象存储的公共读取场景和网盘场景。 当前创建HTTP连接时，只需要配置连接名称，具体URL在创建作业时配置。 MongoDB 连接本地MongoDB数据库时，具体参数请参见 文档数据库服务（DDS） 连接DDS时，具体参数请参见 Redis 分布式缓存服务（DCS） 连接Redis或DCS时，具体参数请参见 MRS Kafka Apache Kafka 连接MRS Kafka或Apache Kafka数据源时，具体参数请参见 云搜索服务 Elasticsearch 连接云搜索服务或Elasticsearch时，具体参数请参见 数据湖探索（DLI） 连接数据湖探索服务时，具体参数请参见 DMS Kafka 连接DMS的Kafka队列时，具体参数请参见 。 Cassandra 连接Cassandra时，具体参数请参见

KafkaConsumer 总消费次数&总消费字节数 显示总消费次数和总消费字节数的趋势图。 总消费次数：这个指标表示消费者从Kafka中成功读取并处理的消息数量。它是一个计数器，用于跟踪消费者在其生命周期内接收到的消息总数。这对于监控消费者的工作负载和性能非常有用，可以帮助开发者了解消费者是否有效地从生产者那里获取了数据。 总消费字节数：这个指标表示消费者从Kafka中成功读取的数据总量，以字节为单位。它考虑了每条消息的大小，并累加起来给出一个总和。这对于评估网络带宽使用情况、存储需求以及数据传输效率等方面非常重要。例如，如果一个主题有20个分区和5个消费者，每个消费者需要至少4MB的可用内存来接收记录。因此，通过监控总消费字节数，可以更好地理解数据流的规模和处理速度。 这两个指标共同提供了对Kafka消费者行为的全面视图，使得开发者能够优化系统性能，确保数据处理的高效性和稳定性。 通过消息队列接收消息 显示topic列表，表头如下。 topic：是指消息队列中接收到的特定主题（topic）的消息。主题用于将相关的消息进行归类和分组。 调用次数：是指在一段时间内，通过消息队列接收消息的总调用次数。每次调用消息队列的接收操作（例如KafkaConsumer的poll()方法）并成功获取一条消息都会被计算为一次调用。 平均响应时间(ms)：是指从发起接收请求到接收到消息的平均时间。它表示了接收消息的速度和效率。 错误数：表示在接收消息的过程中发生的错误次数。这些错误可能包括接收消息失败、网络连接问题或其他异常情况。 最慢调用(ms)：是指在一段时间内，接收消息过程中最耗时的一次调用的时间。它反映了接收消息中的性能瓶颈或延迟情况。 操作：点击详情，出现弹层显示调用次数、平均响应时间(ms)、错误数在筛选时间段内的趋势图。 这些指标共同构成了对消息队列系统性能和可靠性的全面评估，有助于管理员和开发者优化系统配置，提高系统的稳定性和效率。

本文为您介绍分布式消息服务MQTT的产品功能。 消息模型 支持发布/订阅消息模型，提供一对多的消息分发方式。这意味着一个发布者（发布消息的客户端）可以将消息发送到一个或多个订阅者（订阅相同主题的客户端），而不需要建立直接的点对点连接。 以下是MQTT的发布/订阅消息模型的关键特点： 主题（Topic）： 发布者在发送消息时会将消息与一个主题相关联。主题是消息的分类或标识，它用于告诉Broker消息应该发送到哪些订阅者。订阅者可以选择订阅感兴趣的主题，以接收与这些主题相关的消息。 订阅（Subscribe）： 订阅者告诉MQTT Broker它对哪些主题感兴趣。一旦订阅者订阅了特定主题，Broker会将匹配的消息发送给订阅者。订阅者可以同时订阅多个主题。 发布（Publish）： 发布者将消息发送到特定主题，然后Broker负责将消息传递给所有订阅了该主题的订阅者。这样，消息可以广播给所有订阅者，实现了一对多的消息分发。 多对多通信： MQTT支持多对多通信，这意味着多个发布者可以同时发布消息到相同或不同的主题，多个订阅者可以同时订阅一个或多个主题。这种灵活性使MQTT适用于各种应用场景，包括物联网、实时通信和分布式系统。 通配符支持： MQTT还支持通配符订阅，订阅者可以使用通配符来匹配多个主题，从而接收与通配符模式匹配的消息。这提供了更高级别的消息过滤和选择性订阅。 总之，MQTT的发布/订阅消息模型使其成为一种非常灵活的消息传递协议，特别适用于需要一对多消息分发的应用，如物联网、实时监控、传感器数据采集等。它的轻量级特性和广泛的跨平台支持也使其成为了许多分布式系统和应用程序的首选通信协议之一。

本章节介绍Kafka认证方式。 PLAINTEXT方式 无安全认证方式，仅需输入IP和端口进行连接。 图 PLAINTEXT SASLPLAINTEXT认证 使用SASL机制连接Kafka，需要设置SASL相关配置。 图 SASLPLAINTEXT 表 参数信息 参数 描述 SASL机制 用于客户端连接的SASL机制，支持以下四项，Kafka server默认是 GSSAPI 机制。 GSSAPI PLAIN SCRAMSHA256 SCRAMSHA512 令牌委托 是否为委托令牌鉴权，SASL机制选择“SCRAMSHA256”或者“SCRAMSHA512”时可见。 用户名 登录使用的用户名。 密码 登录使用的密码 SSL认证 使用SSL加密方式连接Kafka，需要设置SSL相关配置。 图 SSL 表 参数信息 参数 描述 Truststore证书 后缀名为jks的SSL证书。 Truststore证书密码 证书对应的秘钥。 主机名端点识别算法 指定通过服务端证书验证服务端主机名的端点识别算法，选填，不填表示禁用主机名验证。 SSL双向认证 是否开启SSL双向认证。 Keystore证书 SSL双向认证开启可见，需要上传后缀名为jks的双向认证证书。 Keystore证书密码 SSL双向认证开启可见，SSL双向认证证书对应的秘钥。 Keystore私钥密码 选填，Keystore证书中私钥的密码。

Kafka的消费机制是由客户端主动去服务端拉取消息进行消费的。因此，一般来说，如果客户端能够及时消费，则不会产生较大延迟。如果产生了较大延迟，请先关注是否有堆积，并注意提高消费速度。

本节介绍了专属云（计算独享型）的开通步骤。 专属云（计算独享型）产品不同于其他服务，用户需要先申请开通专属云访问权限后，才能申请计算集群的资源。您可以等硬件设备部署完毕后一并申请开通专属云访问权限和专属云计算独享型资源。 1、登录天翼云控制中心，切换节点； 2、单击“控制中心”，选择【专属云】； 3、在申请页面查看申请流程。请与您的专属客户经理确定您的专属云开通需求，如果没有专属客户经理，可拨打天翼云客服电话4008109889咨询； 4、与客户经理沟通需求后，客户经理根据具体需求输出专属云部署方案。 5、由客户经理协助客户提交工单，做专属云服务开通和物理服务器发货。 6、待物理服务器到位后，专属云资源将在2天内完成开通。

支持多语言客户端 RabbitMQ是一款基于AMQP协议的开源服务，用于在分布式系统中存储转发消息，服务器端用Erlang语言（支持高并发、分布式以及健壮的容错能力等特点）编写，支持多种语言的客户端，如：Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP、AJAX等。

本文主要介绍专属云（计算独享型）的功能 功能介绍 计算隔离 独享计算资源池，部署在独立的物理集群中，确保云主机资源运行在物理隔离的专属计算资源池内。 灵活部署 支持多区域，多可用区，多计算集群部署，集成对接专属分布式存储，用户可自配置网络，提供安全组策略，方便用户构建立体防护网络。 灵活创建 用户可指定不同专属计算池，不同专属物理机进行弹性云主机创建。 资源管控 用户可以查看专属计算集群下的物理机列表和计算资源总量和消耗量以及物理机上弹性云主机的列表，用户能直观的查看和管理计算资源。

如何选择云主机的个数 您可以根据您的应用软件所占用的计算资源（CPU、内存等）进行整体汇总，并根据每个云主机可提供的计算资源进行估算，得出需要的云主机的个数。 如何确定专属云中计算服务器（物理服务器）数量？ 您可以在专属云总览页面查看物理机服务器的数量。 专属云中计算服务器数量是否有限制？ 无限制。 云主机是独占的吗？ 是独占的，您享有对物理服务器计算资源的完全使用权，与其他用户完全硬件隔离。 专属云中网络是否隔离？ 对于计算独享和存储独享型场景，网络资源逻辑独享，您可独占VPC，您与其他用户之间的网络相互隔离。 专属云中是否支持物理机服务？ 支持。 专属云中是否可以使用RDS服务？ 支持。 专属云中是否支持专线或VPN接入？ 专属云中支持专线和IPSec VPN接入。 专属云中支持的超 分比是多少 ？ “通用型”专属云为1:3超分，“通用计算增强型”和“内存优化型”专属云不支持超分。 专属云支持HA吗 ？ 若客户只购买1台专属云则不支持HA。若想支持HA，客户需要订购HA预留设备。 同种类型的计算服务器预留HA服务器规则：020台 预留1台，2050台 预留2台，50100台预留3台，100200台预留4台，200+台 预留5台，500+台 预留7台。

专属资源服务 可按用户需求提供专属云（计算独享型）、专属云（存储独享型）等资源服务 专属基础服务 可按用户需求提供虚拟私有云、弹性IP、弹性伸缩服务等基础服务 一站式部署和运维 一键创建Kubernetes集群，自动化部署、运维容器应用，整个生命周期都在专属云容器服务内一站式完成 丰富的应用调度策略 支持多种亲和反亲和调度策略，用户可方便地根据应用特点在高性能和高可靠中找到平衡点 灵活的弹性伸缩策略 支持按性能、按时间、按周期的弹性伸缩策略，用户可自由组合策略以应对多变的突发浪涌 兼容原生Kubernetes和Docker 定期同步最新kubernetes版本，兼容原生API和kubectl命令行 与天翼云基础资源深度整合 支持在专属云容器中使用云主机、VPC、弹性IP、弹性负载均衡、云硬盘等资源

专属云（存储独享型）应用广泛，本文介绍存储专属云的典型应用场景。 搭配计算专属云 在安全、性能及可靠性要求极高的应用场景，如金融、政府等行业，通过物理资源物理隔离和网络资源逻辑隔离的结合，可以有效地保障业务的安全运行。此外，数据多副本保存技术和多种安全防护产品的应用，可以进一步提升系统的稳定性和安全性。 存储专属云可以与计算专属云中的云主机进行对接，以满足高性能、稳定性以及数据安全和监管等方面的业务需求。专属云服务不仅提供了高度的数据安全性，还具备了强大的扩展性和灵活性，可以满足不同行业和企业的个性化需求。 混合负载 针对专属客户的需求，开发人员在公有云上独立划分计算或专区，确保客户的数据在独享的计算或存储物理服务器中，与其他公有云客户不共享物理服务器。客户可以将专属云建设在公有云资源池上，专属云（存储独享型）服务支持多并发、高带宽应用场景，可以同时支持HPC、数据库、Email、OA办公、Web等多个应用混合部署。 与其他公有云服务相比，专属云具有更高的灵活性和可控性，客户可以根据自己的需求进行定制和扩展，无需担心与其他客户共享资源的问题。同时，专属云还具有更好的安全性和可靠性，可以为客户提供更加可靠的计算和存储服务。

本章节介绍分布式消息服务RabbitMQ的产品价格。 分布式消息服务RabbitMQ的产品价格，分为老规格和新规格两个类型，老规格是指“2vCPU4GB”格式的规格，新规格是指“rabbitmq.2u4g.cluster”格式的规格。自新规格正式上线之日起，用户新订购实例只能订购新规格、无法新订购老规格实例，但用户已订购的老规格实例，可正常使用，也可以进行规格变更。 RabbitMQ支持ARM架构的鲲鹏实例，其规格、价格与X86架构相同。 详细的产品价格如下： 一、老规格 分布式消息服务RabbitMQ老规格仅支持包年/包月计费模式，价格如下： 实例类型 实例规格 数量 包月价格（元/月） :::: 单机版 2C4G 1 278 单机版 4C8G 1 541 单机版 8C16G 1 1068 单机版 16C32G 1 1939 集群版 4C8G 3 3158 集群版 4C8G 5 4421 集群版 4C8G 7 5684 集群版 8C16G 3 6231 集群版 8C16G 5 8723 集群版 8C16G 7 11215 集群版 16C32G 3 12926 集群版 16C32G 5 18096 集群版 16C32G 7 23267 分布式消息服务RabbitMQ老规格的存储空间价格，同云硬盘单价一致。 分布式消息服务RabbitMQ老规格包周期订购，无包年优惠。

本节介绍了专属云（存储独享型）的开通步骤。 专属云（存储独享型）产品不同于其他服务，用户需要先申请开通专属云访问权限后，才能申请存储池。 1、登录天翼云控制中心，切换节点； 2、单击“控制中心” ，选择【专属云】； 3、在申请页面查看申请流程。请与您的专属客户经理确定您的专属云开通需求，如果没有专属客户经理，可拨打天翼云客服电话4008109889咨询； 4、与客户经理沟通需求后，客户经理根据具体需求输出专属云部署方案。 5、由客户经理协助客户提交工单，做专属云服务开通和物理服务器发货。 6、待物理服务器到位后，专属云资源将在2天内完成开通。

本节内容介绍了专属云（计算独享型）的产品定义。 专属云（计算独享型）（CTDeC，Dedicated Cloud）是在公有云上隔离出来的专属虚拟计算资源池，用户独享物理隔离的计算资源。在专属云内，用户可在管理控制台统一管理，就像自建私有云一样灵活使用专属云资源。 用户需要申请专属云（计算独享型）服务后才予以开通权限，请联系专属客户经理提交开通申请，或者拨打天翼云客服电话4008109889。

本文为您介绍分布式消息服务MQTT 的入门指引。 本章节将为您介绍分布式消息服务MQTT入门的基本流程，主要包括环境准备、创建实例、连接实例及消息收发，帮助您快速上手MQTT。 操作流程 步骤说明 1.环境准备 创建MQTT实例先要准备好虚拟私有云、子网和安全组，可选弹性公网IP。 2.创建实例 在订购分布式消息MQTT填写和确认实例名称、计费模式等信息，确认费用后点击下一步，等待开通流程结果通知成功后完成创建实例。 3.连接实例 创建用户密码、父主题等管理信息，对用户进行主题授权，绑定弹性IP，终端设备和云端应用通过MQTT客户端接入。 4.消息收发 使用MQTT SDK接入终端连接地址进行消息生产消费。

专属云中的云容器引擎 场景特点：专属云容器引擎在天翼公有云中为企业用户提供物理隔离的资源和服务专属云空间。租户独占计算资源和存储资源，并使用天翼云高可靠的云网络，满足租户应用系统的高可靠、高性能和高安全等要求，支撑企业关键应用，减轻企业运维负担 场景优势： 专属隔离 租户在专属云中独享计算资源、存储资源和容器集群，与公有云其它租户的资源物理隔离，满足特殊行业核心数据隔离合规等要求 安全可靠 资源独占零抖动，服务专享高安全，可支持云上云下双中心、多点容灾备份 灵活组合 专属云中的云容器引擎支持与数据库、应用平台等服务实例对接，可灵活搭配公有云服务，实现资源弹性扩容

本章节介绍应用容灾多活中不同的应用架构支持的功能模块。 应用架构 支持的功能模块 应用双活 管控通道 注册配置中心RCC 应用双活 接入层 云原生网关CGW 应用双活 服务层 SpringCloud 应用双活 服务层 Dubbo 应用双活 数据层 关系型数据库MySQL版 应用双活 数据层 关系型数据库PostgreSQL版 应用双活 消息层 分布式消息服务RocketMQ 数据双活 管控通道 注册配置中心RCC 数据双活 接入层 云原生网关CGW 数据双活 服务层 SpringCloud 数据双活 服务层 Dubbo 数据双活 数据层 关系型数据库MySQL版 数据双活 数据层 关系型数据库PostgreSQL版 数据双活 消息层 分布式消息服务RocketMQ

本文为您介绍了客户支持计划的优势。 客户支持计划为客户提供专属服务标识、专属服务团队、专享绿色通道、专享服务权益，帮助客户安心上云，放心用云，专心基于天翼云产品创造业务转型新价值。 支持计划级别 专属服务权益 适用场景 : 轻量级 专属绿色通道：VIP专席快速响应，专属IM群高效沟通，工单加急处理，高级技术工程师专业支持 个人客户、中小型企业客户云部署场景，要求较高的响应速度 商业级 专属绿色通道：VIP专席快速响应，专属IM群高效沟通，资深技术工程师专业支持 专享服务权益：围绕关键场景，提供资源健康诊断、重大活动保障、客户声音聆听等增值服务 中大型企业客户多种类较大规模云部署场景，要求较高的问题响应速度，业务可用性要求较高 企业级 专属绿色通道：VIP专席快速响应，专属IM群高效沟通，技术专家专业支持 专享服务权益：围绕全生命周期场景，提供资源健康诊断、架构优化咨询等专业技术服务之外，更有定制服务月报、定期拜访交流、管家式备案服务、受邀品牌活动等独享增值服务 大型企业客户多种类超大规模云部署场景，要求很高的问题响应速度，业务可用性要求高

本文带您了解什么是专属云（存储独享型）。 专属云（CTDeC，Dedicated Cloud）是一种物理上隔离的专属虚拟化资源池，由专属云（计算独享型）和专属云（存储独享型）两种类型组成。专属云提供了更高效、可靠和安全的云计算环境，用户可以在专属云控制台中统一管理资源，可以更加灵活地管理和使用资源。与公有云服务相比，专属云更加适合需要高度定制化和资源隔离的企业级应用场景。 专属云（存储独享型）（CTDSS，Dedicated Distributed Storage Service），简称存储专属云，是一种专用的存储服务。存储专属云提供高IO和超高IO两种存储池，与计算专属云配合使用，可为用户提供独享的计算和存储资源，与公有云资源共享网络资源且逻辑隔离。存储专属云适用于对安全、性能及可靠性有高要求的金融、政企等应用场景，比自建私有云方案更轻量、成本更低。 专属云资源隔离情况如下所示： 存储专属云的技术架构如下所示：

本章节介绍创建MRS服务的方式。 快速创建Hadoop分析集群：快速创建Hadoop分析集群为您提高了配置效率，可以在几分钟之内快速创建Hadoop集群，更加方便快捷的进行海量数据分析与查询。 快速创建HBase查询集群：快速创建HBase查询集群为您提高了配置效率，可以在几分钟之内快速创建HBase集群，更加方便快捷的进行海量数据存储以及分布式计算。 快速创建Kafka流式集群：快速创建Kafka流式集群为您提高了配置效率，可以在几分钟之内快速创建Kafka集群，更加方便快捷的进行流式数据采集，实时数据处理存储等。 快速创建ClickHouse集群：快速创建一个ClickHouse集群，ClickHouse是一个用于联机分析的列式数据库管理系统，具有极致压缩率和极速查询性能。 快速创建实时分析集群：快速创建一个实时分析集群为您提高了配置效率，可以在几分钟之内快速创建实时分析集群，更加方便快捷的进行海量的数据采集、数据的实时分析和查询。 创建自定义集群：自定义创建可以灵活地选择配置项，针对不同的应用场景，可以选择不同规格的弹性云主机，全方位贴合您的业务诉求。

Kafka常用端口 版本：2.8.1 配置参数 默认参数 当前配置端口 端口说明 com.sun.management.jmxremote.port 8096 kafka broker jmx 端口 zookeeper.connect 2181 2181 连接zk client端口 listeners(SASLPLAINTEXT) 9092 9092 kafka SASLPLAINTEXT 端口 listeners(PLAINTEXT) 9091 9091 kafka PLAINTEXT 端口 Spark常用端口 版本：3.2.2 配置参数 默认参数 当前配置端口 端口说明 spark.yarn.historyServer.address 18081 spark history webUI端口 spark.shuffle.service.port 7337 7337 spark shuffle 端口 spark.ui.port 4040 4040 应用 dashboard UI端口 ZooKeeper常用端口 版本：3.7.1 配置参数 默认参数 当前配置端口 端口说明 admin.serverPort 8080 8080 zk admin 服务端口 clientPort 2181 2181 连接zk client端口 com.sun.management.jmxremote.port 2182 2182 zk jmx 端口 server.x 2888:3888;2181 2888:3888;2181 zk 服务端口、选举leader端口，client端口。 Kerberos常用端口 配置参数 默认端口 当前配置端口 端口说明 kdcports 88 88 kdc 端口 ipropport 744 744 iprop 端口 kpasswd 464 464 kpasswd 端口 adminserver 749 749 kerberos admin server 端口

磁盘数目 存储磁盘的 IOPS（每秒输入/输出操作次数）和每秒读/写字节数有限制。创建新分区时，Kafka 会将每个新分区存储在现有分区最少的磁盘上，以便在可用磁盘之间平衡分区的数目。尽管有存储策略进行调节，但在处理每个磁盘上的数百个分区副本时，Kafka 很容易就会使可用磁盘吞吐量达到饱和。此时，需要在吞吐量与成本之间进行取舍。如果应用场景需要更大的吞吐量，请创建一个可为每个代理提供更多托管磁盘的群集。 主题和分区的数目 Kafka生产者将写入主题。Kafka 消费者读取主题。主题与日志相关联，该日志是磁盘上的数据结构。Kafka 将生产者中的记录追加到主题日志的末尾。主题日志包括分散在多个文件之间的多个分区。而这些文件又分散在多个 Kafka 群集节点之间。消费者可以按照自己的节奏从 Kafka 主题中读取内容，并可以在主题日志中选择自己的位置（偏移）。 每个 Kafka 分区是在系统上的一个日志文件，生产者线程可以同时写入到多个日志。同样，由于每个消费者线程从一个分区读取消息，因此也能并行处理从多个分区使用消息的操作。 提高分区密度（每个代理的分区数）会增大与元数据操作以及每个分区领先者及其后继者之间的分区请求/响应相关的开销。即使不存在流动的数据，分区副本也仍会从领先者提取数据，导致需要通过网络额外处理发送和接收请求。 对于 HDInsight 中的 Apache Kafka 群集 2.1 和 2.4 以及更高版本，我们建议最多为每个代理提供 2000 个分区（包括副本）。增加每个代理的分区数会降低吞吐量，并可能导致主题不可用。

Kafka 消费的语义是 “at least once”， 也就是至少投递一次，保证消息不丢，但是不会保证消息不重复。在出现网络问题、客户端重启时均有可能出现少量重复消息，此时应用消费端如果对消息重复比较敏感（比如说订单交易类），则应该做到消息幂等。 以数据库类应用为例，常用做法是： 发送消息时，传入 key 作为唯一流水号ID； 消费消息时，判断 key 是否已经消费过，如果已经消费过了，则忽略，如果没消费过，则消费一次； 当然，如果应用本身对少量消息重复不敏感，则不需要做此类幂等检查。

本节介绍Kafka业务过载最佳实践 方案概述 Kafka业务过载，一般表现为CPU使用率高、磁盘写满的现象。 当CPU使用率过高时，系统的运行速度会降低，并有加速硬件损坏的风险。 当磁盘写满时，相应磁盘上的Kafka日志目录会出现offline问题。此时，该磁盘上的分区副本不可读写，降低了分区的可用性和容错能力。同时由于Leader分区迁移到其他节点，会增加其他节点的负载。 CPU使用率高的原因 数据操作相关线程数（num.io.threads、num.network.threads、num.replica.fetchers）过多，导致CPU繁忙。 分区设置不合理，所有的生产和消费都集中在某个节点上，导致CPU利用率高。 磁盘写满的原因 业务数据增长较快，已有的磁盘空间不能满足业务数据需要。 节点内磁盘使用率不均衡，生产的消息集中在某个分区，导致分区所在的磁盘写满。 Topic的数据老化时间设置过大，保存了过多的历史数据，容易导致磁盘写满。 实施步骤 CPU使用率高的处理措施： 优化线程参数num.io.threads、num.network.threads和num.replica.fetchers的配置。 num.io.threads和num.network.threads建议配置为磁盘个数的倍数，但不能超过CPU核数。 num.replica.fetchers建议配置不超过5。 合理设置Topic的分区，分区一般设置为节点个数的倍数。 生产消息时，给消息Key加随机后缀，使消息均衡分布到不同分区上。 磁盘写满的处理措施： 扩容磁盘，使磁盘具备更大的存储空间。 迁移分区，将已写满的磁盘中的分区迁移到本节点的其他磁盘中。 合理设置Topic的数据老化时间，减少历史数据的容量大小。 在CPU资源情况可控的情况下，使用压缩算法对数据进行压缩。 常用的压缩算法包括：ZIP，GZIP，SNAPPY，LZ4等。选择压缩算法时，需考虑数据的压缩率和压缩耗时。通常压缩率越高的算法，压缩耗时也越高。对于性能要求高的系统，可以选择压缩速度快的算法，比如LZ4；对于需要更高压缩比的系统，可以选择压缩率高的算法，比如GZIP。 可以在生产者端配置“compression.type”参数来启用指定类型的压缩算法。 Properties props new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("acks", "all"); props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); // 开启GZIP压缩 props.put("compression.type", "gzip"); Producer producer new KafkaProducer<>(props);

本章节主要介绍节点参考的Kafka Client。 功能 通过Kafka Client向Kafka的Topic中发送数据。 参数 用户可参考下表配置Kafka Client节点的参数。 参数 是否必选 说明 数据连接 是 选择管理中心中已创建的MRS Kafka连接。 Topic名称 是 选择需要上传数据的Topic，如果有多个partition，默认发送到partition 0。 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“ ”等各类特殊字符，长度为1～128个字符。 发送数据 是 发送到Kafka的文本内容。可以直接输入文本或单击使用EL表达式编辑。 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 − 最大重试次数 − 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后将不会再重试，直接置为失败状态。 失败策略 是 节点执行失败后的操作： 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划：暂停当前作业运行，当前作业实例状态显示为“等待运行”。 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。

前提条件：已申请并开通专属云服务、专属云容器引擎服务 操作步骤： 1、登录天翼云控制中心，选择已开通的专属云节点； 2、单击控制台上方右侧资源节点下拉列表，查看您已开通的专属云情况；如下图所示，目前在贵州节点下已开通一个名为“Dec001”的专属云； 3、单击“Dec001”节点，进入专属云控制台； 4、单击云容器引擎CCE，进入专属云容器引擎控制台； 5、在专属云中的云容器引擎控制台，您可以开通集群、节点、部署应用等，功能与公有云中的云容器引擎一致，具体操作指导请参考云容器引擎

本节介绍了RabbitMQ元数据迁移的实践。 RabbitMQ元数据迁移指将用户线下实例的rabbitmq实例元数据迁移到线上实例。 背景信息 RabbitMQ集群元数据是指RabbitMQ集群的信息，包括User、Vhost、Queue、Exchange、Binding Key、Permission、Parameter等信息。RabbitMQ集群元数据存储于RabbitMQ集群的内部数据库，在集群的各个节点之间自动复制。集群中的每个节点都有自己的元数据副本。当某个节点的元数据变更时，所有节点的元数据都会同步更新。因此，集群的各个节点的元数据被导出时都是相同的。RabbitMQ集群元数据可以被导出成一份JSON文件，然后被导入另一个RabbitMQ集群，实现RabbitMQ集群元数据备份。 迁移元数据上云是指将开源RabbitMQ集群的元数据迁移到天翼云分布式消息服务RabbitMQ实例。分布式消息服务RabbitMQ是天翼云提供的全托管消息队列服务，兼容开源RabbitMQ。您可以将RabbitMQ集群元数据导出，然后导入分布式消息服务RabbitMQ实例，分布式消息服务RabbitMQ会根据成功导入的元数据在目标分布式消息服务RabbitMQ实例中创建对应的Vhost、Queue、Exchange、Binding，实现RabbitMQ集群元数据迁移上云。您可以将全部Vhost信息导入分布式消息服务RabbitMQ实例，也可以根据需要将某个Vhost信息导入分布式消息服务RabbitMQ实例中的Vhost。 迁移元数据 （1）在RabbitMQ WebUI页面查看，如图所示。 Overview视图中，点击“Download broker definitions”按钮下载集群元数据。得到rabbitmq元数据的json文件。 （2）上线rabbitmq实例导入元数据。 如上图所示，先点击选择文件，选择上一步骤导出的json文件，再点击导入配置。 注意：在线下的Rabbitmq集群中不能含有用户名rabbitmq，否则会被覆盖。用户名rabbitmq是天翼云Rabbitmq内部使用的管理账号。

本章节介绍了分布式消息服务RocketMQ实例上报云监控服务的监控指标信息。 功能说明 本章节定义了分布式消息服务RocketMQ上报云监控服务的监控指标的命名空间，监控指标列表和维度定义，您可以通过分布式消息服务RocketMQ控制台来检索分布式消息服务RocketMQ产生的监控指标和告警信息。 命名空间 SYS.DMS 实例监控指标 表1 实例支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期（原始指标） instanceproducemsg 消息生产数 实例一分钟收到的消息数单位：Count >0 RocketMQ实例 1分钟 instanceconsumemsg 消息消费数 实例一分钟被消费的消息数单位：Count >0 RocketMQ实例 1分钟 currenttopics 主题数 实例的主题数量单位：Count说明：2022年5月16号及以后购买的实例，支持此监控项。 >0 RocketMQ实例 1分钟 currentqueues 队列数 实例的队列数量单位：Count说明：2022年5月16号及以后购买的实例，支持此监控项。 >0 RocketMQ实例 1分钟 instanceaccumulation 堆积消息数 实例所有消费组堆积消息数量之和单位：Count说明：2022年5月16号及以后购买的实例，支持此监控项。 >0 RocketMQ实例 1分钟

本节介绍了分布式消息服务RabbitMQ产品实例如何购买。 订购前准备 在创建天翼云分布式消息服务RabbitMQ实例之前，您需要做一些准备工作。 首先，您需要设置一个虚拟私有云（VPC），这是一个隔离的网络环境，用于托管RabbitMQ实例。 接下来，您需要创建一个子网，它是VPC内部的一个子网络，用于划分不同的部分和区域。 最后，您需要配置一个安全组，用于控制入站和出站的流量规则，以保证RabbitMQ实例的安全性。 每个分布式消息服务RabbitMQ实例都会被部署在特定的VPC中，并与特定的子网和安全组相关联。这种方式可以让您自主配置和管理RabbitMQ实例的网络环境，并提供安全保护策略。如果您已经有了现成的VPC、子网和安全组，可以重复使用它们，无需重复创建。这样可以节省时间和资源，并确保一致性和可靠性。 VPC和子网 VPC和子网可重复使用，您也可以使用不同的VPC和子网来配置RabbitMQ实例，您可根据实际需要进行配置。在创建VPC和子网时应注意如下要求： VPC与使用的天翼云分布式消息服务RabbitMQ服务应在相同的区域。 如无特殊需求，创建VPC和子网的配置参数使用默认配置即可。 创建VPC和子网的操作请参考虚拟私有云创建VPC、子网搭建私有网络 若需要在已有VPC上创建和使用新的子网，请参考虚拟私有云子网管理创建子网