本节介绍消费端挂载NFS是否会影响消费速度 消费端在消费消息的主线程里同步将拉取的消息存储在NFS，导致消费端处理消息的速度变慢，阻塞消息处理。 可能原因 NFS本身速度就不太理想。 NFS是网络共享存储，虽然有多机器共享访问的能力优势，但多台机器访问是争抢的，消费者个数增多，性能反而下降。 解决方案 建议将消费端拉取消息和存储消息分别放在两个独立且不同的线程里操作。拉取消息的线程只管消费消息，把消息转给缓存处理线程后就继续消费消息，这样可以保证消费速度的稳定。 也可以考虑采用云盘，给每台消费端处理机挂载自己的云盘，各自独立存储，这样消费端不会再因为争抢NFS而降低性能。如果需要把最终的处理结果集中到同一个NFS上保存，仍然可以通过一个异步的工具或者线程，把云盘上的结果再转发到NFS上，而不要让同步存储NFS阻塞消息处理。总之，对于资源访问造成的处理低效，总是可以用异步处理的方式解决。

本文主要介绍了消息管理页面的功能和使用。 当前支持的消息接收方式包括：邮箱、短信。用户可以开启或关闭消息接收。 操作步骤 1、登录消息中心。 2、点击消息中心左侧导航，选择“消息管理“ 3、配置消息接收方式。 勾选邮箱、短信，可以选择该类消息的接收方式。 点击修改，可以选择该类消息的接收人。 勾选多个消息类型，可进行批量添加或删除消息接收人。

sectionaf1f4cd067bf253e)。 Kafka实例的SSL证书有效期多长？ Kafka实例开启SASL时，需进行单向认证，证书有效期足够长（超过15年），客户端不需要关注证书过期风险。 如何将Kafka实例中的数据同步到另一个Kafka实例中？ Kafka实例之间没有好的实时同步方案，如果需要做实例迁移，可以同时向两个实例生产消息，源实例中的消息可继续消费，待源实例的消息数据全部被消费完或老化后，业务可迁移到新的Kafka实例。 Kafka实例的SASLSSL开关如何修改？ Kafka SASLSSL开关不支持购买实例后修改，在购买时，请慎重选择，如果购买后需要修改，需要重新购买实例。 开启IPv6的实例不支持动态修改SASLSSL开关。 SASL认证机制如何修改？ 实例创建后，不支持修改SASL认证机制。如果需要修改，请重新购买实例。 修改企业项目，是否会导致Kafka重启？ 修改企业项目不会导致Kafka重启。 Kafka服务和ZK是部署在相同的虚拟机中，还是分开部署？ Kafka服务和ZK部署在相同的虚拟机中。 Kafka包周期实例不支持删除吗？ 可以删除。登录Kafka控制台，在包周期实例所在行，单击“更多 > 退订”，完成实例的删除。 Kafka支持哪些加密套件？ 由于安全问题，支持的加密套件为TLSECDHEECDSAWITHAES128CBCSHA256，TLSECDHERSAWITHAES128CBCSHA256和TLSECDHERSAWITHAES128GCMSHA256。 购买实例时选择的单AZ，怎样可以扩展为多AZ？ 已购买的实例无法扩展AZ，请重新购买多AZ的实例。

指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 异常（exception，RabbitMqProducer调用的异常信息统计。） exceptionType 异常类型 异常类型 ENUM LAST 异常（exception，RabbitMqProducer调用的异常信息统计。） causeType 异常类 发生异常的类 ENUM LAST 异常（exception，RabbitMqProducer调用的异常信息统计。） count 次数 该异常的发生次数 INT SUM 异常（exception，RabbitMqProducer调用的异常信息统计。） message 异常消息 该异常产生的异常消息 STRING LAST 异常（exception，RabbitMqProducer调用的异常信息统计。） stackTrace 异常堆栈 该异常产生的堆栈信息 CLOB LAST exchange监控（exchangePublish，以exchange为维度统计消息推送详情） connection connection producer连接信息 ENUM LAST exchange监控（exchangePublish，以exchange为维度统计消息推送详情） exchange exchange exchange名 ENUM LAST exchange监控（exchangePublish，以exchange为维度统计消息推送详情） concurrentMax 最大并发 推送消息最大并发 INT MAX exchange监控（exchangePublish，以exchange为维度统计消息推送详情） errorCount 错误次数 推送消息的错误次数 INT SUM exchange监控（exchangePublish，以exchange为维度统计消息推送详情） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST exchange监控（exchangePublish，以exchange为维度统计消息推送详情） invokeCount invokeCount Publish调用次数 INT SUM exchange监控（exchangePublish，以exchange为维度统计消息推送详情） publishedMsgCount publishedMsgCount 推送消息数 INT SUM exchange监控（exchangePublish，以exchange为维度统计消息推送详情） publishedBytes 推送字节数 推送字节数 INT SUM exchange监控（exchangePublish，以exchange为维度统计消息推送详情） maxSingleMsgBytes 单次推送最大字节数 单次推送最大字节数 INT MAX exchange监控（exchangePublish，以exchange为维度统计消息推送详情） lastError 错误信息 推送消息发生错误产生的错误信息 STRING LAST exchange监控（exchangePublish，以exchange为维度统计消息推送详情） maxTime 最大响应时间 推送消息的最大响应时间 INT MAX exchange监控（exchangePublish，以exchange为维度统计消息推送详情） runningCount 正在执行数 采集时间点正在执行的推送消息数量 INT SUM exchange监控（exchangePublish，以exchange为维度统计消息推送详情） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST exchange监控（exchangePublish，以exchange为维度统计消息推送详情） totalTime 总响应时间 推送消息的总响应时间 INT SUM exchange监控（exchangePublish，以exchange为维度统计消息推送详情） range1 010ms 响应时间在010ms范围请求数 INT SUM exchange监控（exchangePublish，以exchange为维度统计消息推送详情） range2 10100ms 响应时间在10100ms范围请求数 INT SUM exchange监控（exchangePublish，以exchange为维度统计消息推送详情） range3 100200ms 响应时间在100200ms范围请求数 INT SUM exchange监控（exchangePublish，以exchange为维度统计消息推送详情） range4 2001000ms 响应时间在2001000ms范围请求数 INT SUM exchange监控（exchangePublish，以exchange为维度统计消息推送详情） range5 110s 响应时间在110s范围请求数 INT SUM exchange监控（exchangePublish，以exchange为维度统计消息推送详情） range6 10s以上 响应时间在10s以上请求数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） connection connection producer连接信息 ENUM LAST connection监控（connectionPublish，以connection为维度统计消息推送详情。） connectionCount 当前连接数 当前连接数 INT LAST connection监控（connectionPublish，以connection为维度统计消息推送详情。） channelCount 当前Channel数 当前Channel数 INT LAST connection监控（connectionPublish，以connection为维度统计消息推送详情。） connectionCreated 创建连接数 创建连接数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） connectionClosed 销毁连接数 销毁连接数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） channelCreated 创建Channel数 创建Channel数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） channelClosed 销毁Channel数 销毁Channel数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） concurrentMax 最大并发 推送消息最大并发 INT MAX connection监控（connectionPublish，以connection为维度统计消息推送详情。） errorCount 错误次数 推送消息的错误次数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST connection监控（connectionPublish，以connection为维度统计消息推送详情。） invokeCount invokeCount Publish调用次数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） publishedMsgCount publishedMsgCount 推送消息数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） publishedBytes 推送字节数 推送字节数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） maxSingleMsgBytes 单次推送最大字节数 单次推送最大字节数 INT MAX connection监控（connectionPublish，以connection为维度统计消息推送详情。） lastError 错误信息 推送消息发生错误产生的错误信息 STRING LAST connection监控（connectionPublish，以connection为维度统计消息推送详情。） maxTime 最大响应时间 推送消息的最大响应时间 INT MAX connection监控（connectionPublish，以connection为维度统计消息推送详情。） runningCount 正在执行数 采集时间点正在执行的推送消息数量 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST connection监控（connectionPublish，以connection为维度统计消息推送详情。） totalTime 总响应时间 推送消息的总响应时间 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） range1 010ms 响应时间在010ms范围请求数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） range2 10100ms 响应时间在10100ms范围请求数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） range3 100200ms 响应时间在100200ms范围请求数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） range4 2001000ms 响应时间在2001000ms范围请求数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） range5 110s 响应时间在110s范围请求数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） range6 10s以上 响应时间在10s以上请求数 INT SUM total监控（total，以客户端为维度统计消息推送详情。） concurrentMax 最大并发 推送消息最大并发 INT MAX total监控（total，以客户端为维度统计消息推送详情。） errorCount 错误次数 推送消息的错误次数 INT SUM total监控（total，以客户端为维度统计消息推送详情。） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST total监控（total，以客户端为维度统计消息推送详情。） invokeCount invokeCount Publish调用次数 INT SUM total监控（total，以客户端为维度统计消息推送详情。） publishedMsgCount publishedMsgCount 推送消息数 INT SUM total监控（total，以客户端为维度统计消息推送详情。） publishedBytes 推送字节数 推送字节数 INT SUM total监控（total，以客户端为维度统计消息推送详情。） maxSingleMsgBytes 单次推送最大字节数 单次推送最大字节数 INT MAX total监控（total，以客户端为维度统计消息推送详情。） lastError 错误信息 推送消息发生错误产生的错误信息 STRING LAST total监控（total，以客户端为维度统计消息推送详情。） maxTime 最大响应时间 推送消息的最大响应时间 INT MAX total监控（total，以客户端为维度统计消息推送详情。） runningCount 正在执行数 采集时间点正在执行的推送消息数量 INT SUM total监控（total，以客户端为维度统计消息推送详情。） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST total监控（total，以客户端为维度统计消息推送详情。） totalTime 总响应时间 推送消息的总响应时间 INT SUM total监控（total，以客户端为维度统计消息推送详情。） range1 010ms 响应时间在010ms范围请求数 INT SUM total监控（total，以客户端为维度统计消息推送详情。） range2 10100ms 响应时间在10100ms范围请求数 INT SUM total监控（total，以客户端为维度统计消息推送详情。） range3 100200ms 响应时间在100200ms范围请求数 INT SUM total监控（total，以客户端为维度统计消息推送详情。） range4 2001000ms 响应时间在2001000ms范围请求数 INT SUM total监控（total，以客户端为维度统计消息推送详情。） range5 110s 响应时间在110s范围请求数 INT SUM total监控（total，以客户端为维度统计消息推送详情。） range6 10s以上 响应时间在10s以上请求数 INT SUM

了解Kubernetes相关的基础知识。 Pod Pod 是Kubernetes中创建和管理的最小单元，是一个或多个容器的组合，Pod中的容器共享存储和网络资源，以及运行容器的规范。 Volume Volume是Pod内部的共享存储资源，生命周期和Pod相同，与容器无关，即使Pod上的容器停止或者重启，Volume也不会受到影响。但如果Pod终止，那么Volume的生命周期也会结束。 Persistent Volume（PV） Volume中的数据无法持久保留，不能满足有状态服务的需求，因此需要Persistent Volume。PV是Kubernetes中的持久存储资源，是一种网络存储，它的生命周期和Pod无关。如果在Kubernetes中运行有状态服务，比如数据库MySQL，MongoDB或者中间件Redis，RabbitMQ等，那么就需要使用PV，这样即使Pod终止也不会丢失数据。 Persistent Volume Claim（PVC） Persistent Volume Claim是PV的声明。在Kubernetes中，直接使用PV作为存储时，需要集群管理员提前创建好PV，使用上不灵活。而PVC可以将Pod和PV解耦，即Pod不直接使用PV，而是通过PVC来使用PV。这样，无需提前创建PV，只要通过StorageClass把存储资源定义好，Kubernetes就会根据使用需要，动态创建PV，这种方式称为动态供应。 StorageClass StorageClass用于描述不同的存储类型。当通过PVC动态创建HBlock 的卷时，需要在StorageClass中配置创建HBlock卷的参数，如卷冗余模式、扇区大小、写策略等信息。 Container Storage Interface（CSI） Container Storage Interface（CSI）是通用存储接口，旨在实现容器编排器和存储提供商之间的互操作。通过CSI，容器编排器能够使用任何存储提供商的存储服务，存储提供商也可以为任何容器编排器提供存储服务。

本文主要介绍了消息接收人设置的操作流程。 消息接收人默认为账号联系人，不可编辑、删除。在账号联系人之外，用户可以添加或删除消息接收人，也可对消息接收人信息进行修改。 操作步骤 1、登录消息中心。 2、点击消息中心左侧导航，选择“消息接收人设置”。 3、消息接收人设置 新增消息接收人 （1）点击“新增消息接收人”，根据页面提示填写接收人姓名、手机号、邮箱并提交。 （2）点击邮箱及手机号右侧提示完成验证。 说明 需要邮箱及手机号均完成验证，新增的消息接收人才能在“消息管理”中完成添加。 修改消息接收人信息 （1）选择需要修改的消息接收人，点击“编辑”，然后根据需求，可修改接收人姓名、手机号、邮箱，然后提交。 （2）点击邮箱及手机号右侧提示完成验证。 说明 只修改姓名无需重新验证，若替换了新的邮箱/手机，则需要验证才能接收消息。 删除消息接收人 选择需要删除的消息接收人，点击“删除”，再次确认即可完成删除。

本文介绍可观测性相关操作。 容器引擎服务目前提供了总体资源的基础监控能力。用户可通过点击控制导航栏处的【总览】，进入总览界面，查看汇总的资源信息。也可单独查看各个应用、容器的相关信息。 操作步骤 总览界面查看使用CCE的相关信息，需首先选择当前集群，将展现选择集群的以下信息： 节点、应用、容器组、服务、ingress的数量统计数量； 监控管理：提供集群监控信息，包括网络速率，及磁盘、cpu、内存类型的资源利用率； 组件状态监控：提供API server、Controller Managers、Scheduler组件状态监控； 用户也可以通过点击【资源管理】>【集群管理】等入口，获得各应用状态及监控信息，同时可查看集群及容器日志： 监控：无状态应用及容器组运行情况，包括正常与异常两种状态; 应用资源使用量监控：记录当前的资源使用量，包括CPU使用量、内存使用量； 应用事件：记录应用事件，包括发生次数、事件、类型、消息内容等； 容器组日志：提供容器内部的日志信息； 容器事件：记录容器事件，包括发生次数、事件、类型、消息内容等； 集群日志：提供集群创建过程中的日志信息； 集群监控：提供cpu、内存、磁盘使用率指标及网络上下行速率监控指标查看； 节点监控：提供cpu、内存、磁盘使用率指标及网络上下行速率监控指标查看； 节点事件：记录容器事件，包括发生次数、事件、类型、消息内容等。

使用Pull可以实现的所有场景，均可使用Push实现，并且更简单。 Push其实是长轮询的Pull（依然是由客户端发起），在客户端通过配置参数是可以实现流控的，并不会出现服务端的流量压垮客户端的情况。 Push封装了拉取消息，分发给消费线程的线程模型，非流控的情况下，由后台线程主动拉取消息，并缓存在本地，消费线程池有空闲线程时，分发给消费线程，在有堆积量的情况下，可以保证消费线程一直工作，性能更高（备注：Pull只提供了拉取消息的功能，并且何时去拉取，拉取时机，这些都需要应用去控制；分发给消费线程的逻辑需要应用封装，除了增加应用工作量外，还可能有不稳定、性能问题等）。 Push经过多个大型项目的长时间的使用(比如物联网，使用能台，多个试点省份)，更成熟稳定。 Push会自动订阅重试队列，不需要再次调用拉取重试队列的API来取得重试队列的消息（备注：Pull需要另外调用API拉取重试队列的消息）。 Pull是一种遗留的消费模式（兼容早期的API），新开发的应用，或者未上线的应用，都要求使用Push消费模式。

本章节介绍了如何创建自定义的授权策略。 如果系统预置的DMS for RocketMQ权限，不满足您的授权要求，可以创建自定义策略。自定义策略中可以添加的授权项（Action）请参考细粒度策略支持的授权项。 目前天翼云支持以下两种方式创建自定义策略： 可视化视图创建自定义策略：无需了解策略语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。 JSON视图创建自定义策略：可以在选择策略模板后，根据具体需求编辑策略内容；也可以直接在编辑框内编写JSON格式的策略内容。 具体创建步骤请参见：创建自定义策略。本章为您介绍常用的DMS for RocketMQ自定义策略样例。 说明：DMS for RocketMQ的权限与策略基于分布式消息服务DMS，因此在IAM服务中为DMS for RocketMQ分配用户与权限时，请选择并使用“DMS”的权限与策略。 DMS for RocketMQ自定义策略样例 示例1：授权用户删除实例和重启实例 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ " dms:instance:delete dms:instance:modifyStatus " ] } ] } 示例2：拒绝用户删除实例 拒绝策略需要同时配合其他策略使用，否则没有实际作用。用户被授予的策略中，一个授权项的作用如果同时存在Allow和Deny，则遵循Deny优先。 如果您给用户授予DMS FullAccess的系统策略，但不希望用户拥有DMS FullAccess中定义的删除实例权限，您可以创建一条拒绝删除实例的自定义策略，然后同时将DMS FullAccess和拒绝策略授予用户，根据Deny优先原则，则用户可以对DMS for RocketMQ执行除了删除实例外的所有操作。拒绝策略示例如下： { "Version": "1.1", "Statement": [ { "Effect": "Deny", "Action": [ "dms:instance:delete" ] } ] }

本小节介绍服务器安全卫士的设置通知方式。 通知类型 产品到期、入侵告警等，支持邮箱、站内信和短信通知。 设置方法 初次登录服务器安全卫士时，需要录入手机号和邮箱，以便进行通知。 也可以登录消息中心——消息接收设置界面，设置接收的消息类型、接收方式，或增加接收人。

本文介绍边缘安全加速平台的首页。 简介 边缘安全加速平台服务首页，整体展示所有产品的开通情况、概览指标、计费余量等。 操作步骤 1. 登录 边缘安全加速平台控制台首页 。 2. 首页内容分为：已开通产品、产品优惠、全部产品、帮助文档、产品推荐、AOne助手共六个模块。 内容介绍 消息中心 顶部支持查看平台推送的未读消息，点击则进入消息中心，对历史消息进行浏览，并支持一键已读。 目前支持推送域名配置、规则更新动态、系统公告。 态势大屏 顶部支持查看态势大屏，点击顶部的【态势大屏】，选择”点击前往“后进入对应产品的态势大屏。 已开通产品 具体字段的说明如下： 产品 概览指标 说明 安全与加速 域名防护数 目前已开启防护策略的域名数以及总域名数占比 安全与加速 已订购流量/剩余流量 已订购流量套餐内流量+资源包总量；剩余流量已订购流量中剩余可用流量 安全与加速 已订购请求数/剩余请求数 已订购请求数套餐内动态请求数+动态请求数资源包总量；剩余流量已订购请求数中剩余可用量 边缘接入 今日/本月总流量 域名今日已使用流量和本月已使用流量 边缘接入 今日/本月带宽峰值 域名今日带宽峰值和本月带宽峰值 开发者平台 函数数量 开发者服务中已使用的边缘函数的数量 开发者平台 本月调用次数 本月函数的调用次数 开发者平台 本月出流量 本月已使用函数的出流量大小 零信任 已添加/已购买用户数 统计目前零信任服务中已购买的用户数和已使用的用户数 零信任 套餐剩余流量 零信任套餐内剩余的流量 零信任 本月带宽峰值 零信任本月用户的带宽峰值 终端管理 已用授权点数 终端设备列表中已使用的端点总数 终端管理 总授权额度 终端管理已购买的端点总数 学术加速 用户总数 学术加速已使用的用户数 学术加速 剩余流量 学术加速套餐内剩余的流量

生产者 是用来构建并传输数据到服务端的逻辑概念，负责把数据放入消息队列。 订阅器 用于订阅态势感知（专业版）管道消息，一个管道可由多个订阅器进行订阅，态势感知（专业版）通过订阅器进行消息分发。 消费者 是用来接收并处理数据的运行实体，负责通过订阅器把态势感知（专业版）管道中的消息进行消费并处理。 消息队列 是数据存储和传输的实际容器。 威胁检测模型 是一种被训练的AI智能识别算法模型。能针对特定威胁，自动化的完成数据汇聚、分析和报警，这种检测模式具备较好的泛化能力，防躲避能力强，可在不同业务系统中发挥同等效果，应对复杂的新型攻击。

本节介绍Kafka不推荐使用Sarama Go客户端收发消息 问题现象 所有Sarama Go版本客户端存在以下已知问题： 当Topic新增分区时，Sarama Go客户端无法感知并消费新增分区，需要客户端重启后，才能消费到新增分区。 当Sarama Go客户端同时订阅两个以上的Topic时，有可能会导致部分分区无法正常消费消息。 当Sarama Go客户端的消费位点重置策略设置为Oldest(earliest)时，如果客户端宕机或服务端版本升级，由于Sarama Go客户端自行实现OutOfRange机制，有可能会导致客户端从最小位点开始重新消费所有消息。 解决方案 建议尽早将Sarama Go客户端替换为Confluent Go客户端。

本章节主要介绍数据湖探索（DLI）其他服务的关系。 与对象存储服务（OBS）的关系 对象存储服务（Object Storage Service）作为数据湖探索的数据来源及数据存储，与数据湖探索配合一起使用，关系有如下四种。 • 数据来源：数据湖探索服务提供API，支持将OBS对应路径的数据导入到数据湖探索。 • 存储数据：数据湖探索中支持创建OBS表，该类型表在数据湖探索服务中只有元数据，实际数据在该表对应的OBS路径中。 • 备份数据：数据湖探索提供导出API，支持将数据湖探索的数据导出到OBS中备份。 • 存储查询结果：数据湖探索提供API供用户将日常作业的查询结果数据保存到OBS。 与统一身份认证服务（IAM）的关系 统一身份认证服务（Identity and Access Management）为数据湖探索提供了天翼云统一入口鉴权功能。 与云审计服务（CTS）的关系 云审计服务（Cloud Trace Service）为数据湖探索提供对应用户的操作审计。 与云监控服务的关系 云监控（Cloud Eye）为数据湖探索提供监控数据，监控作业中的多项指标，从而集中高效地呈现状态信息。 与消息通知服务（SMN）的关系 消息通知服务（Simple Message Notification）可以在数据湖探索发生作业运行异常时给用户发送通知。 与云数据迁移服务（CDM）的关系 云数据迁移服务（Cloud Data Migration）可以将OBS的数据迁移到数据湖探索中。 与数据接入服务（DIS）的关系 数据接入服务（Data Ingestion Service）通过通道将数据导入到数据湖探索。

场景描述 在RocketMQ中，消费组（Consumer Group）是一种逻辑上的概念，用于标识一组消费者（Consumer）的集合，这些消费者共同消费同一个主题（Topic）的消息。 消费组的概念允许多个消费者同时消费同一个主题的消息，从而实现消息的负载均衡和高可用性。当一个消息发送到RocketMQ中的某个主题时，RocketMQ会将该消息推送给订阅了该Topic的所有消费组中的消费者。 每个消费组可以包含一个或多个消费者，这些消费者可以在同一个应用程序中或不同的应用程序中运行。消费者可以以集群模式（Cluster Mode）或广播模式（Broadcast Mode）进行消费。 在集群模式下，消费组中的消费者以消费者组的形式协同工作，每个消息只会被消费组中的一个消费者消费。RocketMQ会根据消费者的负载均衡策略，将消息分发给不同的消费者，实现消息的负载均衡和高可用性。 在广播模式下，消费组中的每个消费者都会独立消费消息，每个消息会被消费组中的所有消费者都消费一次。广播模式适用于需要所有消费者都处理同一份消息的场景。 消费组的概念使得RocketMQ能够支持水平扩展和容错能力。通过增加消费者数量或部署多个消费者实例，可以提高消费能力和可用性。 需要注意的是，每个消费组在RocketMQ中必须具有唯一的名称，以便区分不同的消费组。同时，每个消费组可以订阅一个或多个Topic，以满足不同业务场景的需求。

本文主要介绍 创建用户并授权使用DMS for Kafka。 如果您需要对您所拥有的DMS for Kafka服务进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），通过IAM，您可以： 根据企业的业务组织，在您的帐号中，给企业中不同职能部门的员工创建IAM用户，让员工拥有唯一安全凭证，并使用DMS for Kafka资源。 根据企业用户的职能，设置不同的访问权限，以达到用户之间的权限隔离。 将DMS for Kafka资源委托给更专业、高效的其他帐号或者云服务，这些帐号或者云服务可以根据权限进行代运维。 如果帐号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用DMS for Kafka服务的其它功能。 本章节为您介绍对用户授权的方法，操作流程如下图所示。 前提条件 给用户组授权之前，请您了解用户组可以添加的DMS for Kafka系统策略，并结合实际需求进行选择，DMS for Kafka支持的系统策略及策略间的对比，请参见：DMS for Kafka权限管理。 示例流程 图 给用户授权DMS for Kafka权限流程 1. 创建用户组并授权 在IAM控制台创建用户组，并授予DMS for Kafka的只读权限“DMS ReadOnlyAccess”。 2. 创建用户并加入用户组 在IAM控制台创建用户，并将其加入 1 中创建的用户组。 3. 用户登录并验证权限 新创建的用户登录控制台，切换至授权区域，验证权限： 在“服务列表”中选择分布式消息服务Kafka，进入Kafka实例主界面，单击右上角“购买Kafka实例”，尝试购买Kafka实例，如果无法购买Kafka实例（假设当前权限仅包含DMS ReadOnlyAccess），表示“DMS ReadOnlyAccess”已生效。 在“服务列表”中选择云硬盘（假设当前策略仅包含DMS ReadOnlyAccess），若提示权限不足，表示“DMS ReadOnlyAccess”已生效。

本页介绍天翼云TeleDB数据库消息订阅。 消息订阅可以对不同类型的消息进行订阅，选择需要的消息类型，保存后，订阅类型的消息会在触发时进行推送。

本章介绍Kafka的网络带宽利用率监控告警配置指导。 使用场景建议 Kafka存在持续业务，避免出现客户端批量断链场景。 间断性业务场景不建议使用，会存在误告警。 新创建实例不建议设置告警。 告警通知设置，告警对象、告警组设置 1. 登录管理控制台。 2. 在管理控制台左上角单击，选择目标实例所在的区域。 3. 在管理控制台左上角单击，搜索CES服务进入“云监控服务”界面。 4. 选择“告警 >告警通知”，单击“通知对象 >创建通知对象”，填写要通知的对象以及相关联系方式，如果已存在则跳过该步骤，重复该步骤可创建多个通知对象。 5. 选择“通知组 >创建通知组”，把步骤4创建的告警对象都纳入当前组进行管理。 设置告警规则 1. 选择“告警 >告警规则 >创建告警规则”。 参数 说明 名称 自定义名称 描述 自定义描述 告警类型 指标 资源类型 分布式消息服务 维度 Kafka专享版 Broker节点 监控范围 指定资源 监控对象 选择指定kafka实例的所有broker，可选择多个kafka实例 触发规则 自定义创建 告警策略 若++网络带宽利用率++ 的++原始值连续3次<++xx则++每5分钟 告警一次++ ++根据实际情况设置xx的紧急、重要、次要等告警++ 发送通知 打开 通知方式 通知组 通知组 选择上一步创建的通知组 通知内容模板 都可以选择系统模版 生效时间 每日00:00 – 23:59 触发条件 出现告警恢复告警都选 2. 单击“立即创建”。

本文主要介绍异常 异常监控项是对应用的异常日志进行监控，比如java的日志异常监控，一旦用户采用log系统打印日志，就会被采集上来。具体的异常采集类型会根据不同的采集器类型有变化。 查看异常日志 步骤 1 登录管理控制台。 步骤 2 单击左侧，选择“应用性能管理 APM”，进入APM服务页面。 步骤 3 在左侧导航栏选择“应用监控 > 指标”。 步骤 4 在界面左侧树单击待查看接口调用的环境后的。 步骤 5 单击“异常”，切换至异常页签。页面默认展示所“全部实例”的“异常日志”异常日志信息。 异常指标包括：类名、异常类型、日志类型、总次数、消息以及以及异常堆栈。请参照下表 日志版本指标包括：logType以及版本。 图 异常监控数据 表 指标说明 指标集 参数 说明 ::: 异常 类名 发生异常的所在类 异常 异常类型 该异常的类型 异常 日志类型 该异常打印所属的日志类型 异常 次数 异常发生的次数 异常 异常消息 该异常产生的异常消息 异常 异常堆栈 该异常产生的异常堆栈 日志版本 日志类型 日志类型 日志版本 日志版本 日志类型对应的版本 单击蓝色数值，可以查看所选时间段内该线程的趋势图。 单击“消息”列的蓝色文字，可以查看消息的详细内容，包括：时间和消息内容。 单击“异常堆栈”列的“查看详情”可以查看异常的详细信息。 单击“异常堆栈”列的“历史信息”可以查看该类名的历史异常堆栈列表。 单击“版本”列的蓝色文字，可以查看该版本的日志详情。 步骤 6 在异常页签选择您想要查看的“实例名称”，并选择“异常日志”，可以查看该实例在对应采集器下的应用异常监控数据。 图 选择实例、异常日志

其他新增命令 1. swapdb 用途：交换同一Redis实例内2个db的数据。 用法：swapdb dbindex1 dbindex2 2. zlexcount 用途：在有序集合中，返回符合条件的元素个数。 用法：zlexcount key min max 内存使用和性能改进 1. 使用更少的内存来存储相同数量的数据 2. 可以对使用的内存进行碎片整理，并逐渐回收 Redis5.0支持的新特性说明 DCS的Redis 5.0版本继承了Redis 4.0版本的所有功能增强以及新的命令，同时还兼容开源Redis 5.0版本的新增特性。 Stream数据结构 Stream是Redis 5.0引入的一种新数据类型，它是一个全新的支持多播的可持久化消息队列。 Redis Stream的结构示意图如下图所示，它是一个可持久化的数据结构，用一个消息链表，将所有加入进来的消息都串起来。 Stream数据结构具有以下特性 ： 1. Stream中可以有多个消费者组。 2. 每个消费组都含有一个Lastdeliveredid，指向消费组当前已消费的最后一个元素（消息）。 3. 每个消费组可以含有多个消费者对象，消费者共享消费组中的Lastdeliveredid，相同消费组内的消费者存在竞争关系，即一个元素只能被其中一个消费者进行消费。 4. 消费者对象内还维持了一个Pendingids，Pendingids记录已发送给客户端，但是还没完成ACK（消费确认）的元素id。 5. Stream与Redis其他数据结构的比较，见下表。 Stream数据结构示意图 Stream与Redis现有数据结构比较 比较项 Stream List、Pub/Sub、Zset 复杂度 获取元素高效，复杂度为O(logN) List获取元素的复杂度为O(N) offset 支持offset，每个消息元素有唯一id。不会因为新元素加入或者其他元素淘汰而改变id。 List没有offset概念，如果有元素被逐出，无法确定最新的元素 持久化 支持消息元素持久化，可以保存到AOF和RDB中。 Pub/Sub不支持持久化消息。 消费分组 支持消费分组 Pub/Sub不支持消费分组 消息确认 支持ACK（消费确认） Pub/Sub不支持 性能 Stream性能与消费者数量无明显关系 Pub/Sub性能与客户端数量正相关 逐出 允许按时间线逐出历史数据，支持block，给予radix tree和listpack，内存开销少。 Zset不能重复添加相同元素，不支持逐出和block，内存开销大。 删除元素 不能从中间删除消息元素。 Zset支持删除任意元素 Stream相关命令介绍 接下来按照使用流程中出现的顺序介绍 Stream相关命令 。详细命令见下表 1. 首先使用XADD添加流元素，即创建Stream，添加流元素时可指定消息数量最大保存范围。 2. 然后通过XGROUP创建消费者组。 3. 消费者使用XREADGROUP指令进行消费。 4. 客户端消费完毕后使用XACK命令确认消息已消费成功。 Stream相关命令介绍 Stream的详细命令 命令 说明 语法 XACK 从流的消费者组的待处理条目列表 （简称PEL）中删除一条或多条消息。 XACK key group ID [ID ...] XADD 将指定的流条目追加到指定key的流中。 如果key不存在，作为运行这个命令的副作用，将使用流的条目自动创建key。 XADD key ID field string [field string ...] XCLAIM 在流的消费者组上下文中，此命令改变待处理消息的所有权，因此新的所有者是在命令参数中指定的消费者。 XCLAIM key group consumer minidletime ID [ID ...] [IDLE ms] [TIME msunixtime] [RETRYCOUNT count] [FORCE] [JUSTID] XDEL 从指定流中移除指定的条目，并返回成功删除的条目的数量，在传递的ID不存在的情况下， 返回的数量可能与传递的ID数量不同。 XDEL key ID [ID ...] XGROUP 该命令用于管理流数据结构关联的消费者组。使用XGROUP你可以：l 创建与流关联的新消费者组。l 销毁一个消费者组。l 从消费者组中移除指定的消费者。l 将消费者组的最后交付ID设置为其他内容。 XGROUP [CREATE key groupname idor] [SETID key idor ] [DESTROY key groupname] [DELCONSUMER key groupname consumername] XINFO 检索关于流和关联的消费者组的不同的信息。 XINFO [CONSUMERS key groupname] key key [HELP] XLEN 返回流中的条目数。如果指定的key不存在，则此命令返回0，就好像该流为空。 XLEN key XPENDING 通过消费者组从流中获取数据。检查待处理消息列表的接口，用于观察和了解消费者组中哪些客户端是活跃的，哪些消息在等待消费，或者查看是否有空闲的消息。 XPENDING key group [start end count] [consumer] XRANGE 返回流中满足给定ID范围的条目。 XRANGE key start end [COUNT count] XREAD 从一个或者多个流中读取数据，仅返回ID大于调用者报告的最后接收ID的条目。 XREAD [COUNT count] [BLOCK milliseconds] STREAMS key [key ...] ID [ID ...] XREADGROUP XREAD命令的特殊版本，指定消费者组进行读取。 XREADGROUP GROUP group consumer [COUNT count] [BLOCK milliseconds] STREAMS key [key ...] ID [ID ...] XREVRANGE 与XRANGE相同，但显著的区别是以相反的顺序返回条目，并以相反的顺序获取开始结束参数 XREVRANGE key end start [COUNT count] XTRIM XTRIM将流裁剪为指定数量的项目，如有需要，将驱逐旧的项目（ID较小的项目）。 XTRIM key MAXLEN [~] count 消息（流元素）消费确认 Stream与相比Pub/Sub，不仅增加消费分组模式，还支持消息消费确认。 当一条消息被某个消费者调用XREADGROUP命令读取或调用XCLAIM命令接管的时候， 服务器尚不确定它是否至少被处理了一次。 因此， 一旦消费者成功处理完一条消息，它应该调用XACK知会Stream，这样这个消息就不会被再次处理， 同时关于此消息的PEL（pendingids）条目也会被清除，从Redis服务器释放内存 。 某些情况下，因为网络问题等，客户端消费完毕后没有调用XACK，这时候PEL内会保留对应的元素ID。待客户端重新连上后，XREADGROUP的起始消息ID建议设置为00，表示读取所有的PEL消息及自lastid之后的消息。同时，消费者消费消息时需要能够支持消息重复传递。 ACK机制解读

功能说明 当实例磁盘使用率达到指定阈值后，可选择磁盘自动扩容或动态消息保留策略来调整磁盘空间。 磁盘自动扩容 当磁盘使用率达到指定阈值后，系统会自动根据扩容策略增加磁盘容量，避免出现实例因磁盘容量不足产生的故障。 动态消息保留策略 当磁盘使用率达到指定阈值后，系统会自动根据消息保留策略删除一定比例的主题最早消息数据，释放磁盘空间。 约束与变更影响 动态消息保留策略和磁盘自动扩容同时最多只能开启一个。 磁盘自动扩容不会影响业务，如果短时间内磁盘使用量迅速增加，无法保证在耗尽磁盘空间前完成磁盘自动扩容。建议提前做好容量规划，先根据磁盘使用量做好扩容，再开启磁盘自动扩容。 动态消息保留策略触发后会删除最早的主题消息，可能导致消费者未及时消费的消息被删除，且调整效果存在一定延迟。建议及时消费数据，减少数据堆积。 触发动态消息保留策略后，主题的保留时长参数会被按比例减小且不会自动恢复，如后续需要调整请到主题管理页面进行操作。 前提条件 实例磁盘字段扩容会产生相应的费用，请确保账户余额充足。

迁移方案一：先迁生产，再迁消费 先将生产消息的业务迁移到新的Kafka，原Kafka不会有新的消息生产。待原有Kafka实例的消息全部消费完成后，再将消费消息业务迁移到新的Kafka，开始消费新Kafka实例的消息。 本方案为业界通用的迁移方案，操作步骤简单，迁移过程由业务侧自主控制，整个过程中消息不会存在乱序问题， 适用于对消息顺序有要求的场景 。但是该方案中需要等待消费者业务直至消费完毕，存在一个时间差的问题，部分数据可能存在较大的端到端时延。 1、将生产客户端的Kafka连接地址修改为新Kafka实例的连接地址。 2、重启生产业务，使得生产者将新的消息发送到新Kafka实例中。 3、观察各消费组在原Kafka的消费进度，直到原Kafka中数据都已经被消费完毕。 4、将消费客户端的Kafka连接地址修改为新Kafka实例的连接地址。 5、重启消费业务，使得消费者从新Kafka实例中消费消息。 6、观察消费者是否能正常从新Kafka实例中获取数据。 7、迁移结束。 结束 迁移方案二：同时消费，后迁生产 消费者业务启用多个消费客户端，分别向原Kafka和新Kafka实例消费消息，然后将生产业务切到新Kafka实例，这样能确保所有消息都被及时消费。 本方案中消费业务会在一段时间内同时消费原Kafka和新Kafka实例。由于在迁移生产业务之前，已经有消费业务运行在新Kafka实例上，因此不会存在端到端时延的问题。但在迁移生产的开始阶段，同时消费原Kafka与新Kafka实例，会导致部分消息之间的生产顺序无法保证，存在消息乱序的问题。此场景 适用于对端到端时延有要求，却对消息顺序不敏感的业务 。 1、启动新的消费客户端，配置Kafka连接地址为新Kafka实例的连接地址，消费新Kafka实例中的数据。 原有消费客户端需继续运行，消费业务同时消费原Kafka与新Kafka实例的消息。 2、修改生产客户端，Kafka连接地址改为新Kafka实例的连接地址。 3、重启生产客户端，将生产业务迁移到新Kafka实例中。 4、生产业务迁移后，观察连接新Kafka实例的消费业务是否正常。 5、等待原Kafka中数据消费完毕，关闭原有消费业务客户端。 6、迁移结束。 结束

步骤四：购买客户端服务器 购买3台ECS服务器（资源池、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致，带宽要大于等于Kafka实例带宽） 购买完成后需要进行如下操作： 安装JDK yum install y java1.8.0openjdkdevel.x8664 下载Kafka命令行工具并解压 tar zxvf kafka2.132.8.2.tar.gz 步骤五：测试命令 ./kafkaproducerperftest.sh producerprops bootstrap.servers${连接地址} acks1 batch.size16384 topic ${Topic名称} numrecords 5000000 recordsize 1024 throughput 1 producer.config ../config/producer.properties bootstrap.servers：购买Kafka实例后，获取的Kafka实例的地址。 acks：消息主从同步策略，acks1表示异步复制消息，acks1表示同步复制消息。 batch.size：每次批量发送消息的大小（单位为字节）。 topic：创建Topic中设置的Topic名称。 numrecords：总共需要发送的消息数。 recordsize：每条消息的大小。 throughput：每秒发送的消息数，1表示不作限制。 测试结果 测试场景一（实例是否开启SASL）：相同的Topic（30分区，3副本，异步复制） 实例规格 磁盘类型 节点数量 TPS（使用SASL） TPS（不使用SASL） 计算增强型4核8GB 超高IO 3 170000 500000 计算增强型8核16GB 超高IO 3 200000 730000 计算增强型16核32GB 超高IO 3 360000 886000 测试场景二（同步/异步复制）：相同的实例（超高I/O、3个节点、不使用SASL） 实例规格 分区数 副本数 TPS（同步复制） TPS（异步复制） 计算增强型4核8GB 30 3 238000 500000 计算增强型8核16GB 30 3 315000 730000 计算增强型16核32GB 30 3 375000 886000 测试场景三（不同磁盘类型）：相同的Topic（30分区，3副本，异步复制） 实例规格 是否使用SASL 节点数量 TPS（高IO） TPS（超高IO） 计算增强型4核8GB 不使用 3 135000 500000 计算增强型8核16GB 不使用 3 240000 730000 计算增强型16核32GB 不使用 3 280000 886000 测试场景四（不同分区数）：相同的实例（超高I/O、3个节点、不使用SASL） 实例规格 是否同步复制 副本数 TPS（3分区） TPS（12分区） TPS（100分区） 计算增强型4核8GB 否 3 330000 280000 260000 计算增强型8核16GB 否 3 480000 410000 340000 计算增强型16核32GB 否 3 534000 744000 630000

本文主要介绍通信协议 本章节介绍APM采集的Websocket监控指标的类别、名称、含义等信息。 表 Websocket监控指标说明 指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 ::::::: 异常（exception，Websocket的异常信息统计。） exceptionType 异常类型 异常类型 ENUM LAST 异常（exception，Websocket的异常信息统计。） causeType 异常类 发生异常的类 ENUM LAST 异常（exception，Websocket的异常信息统计。） count 次数 该异常的发生次数 INT SUM 异常（exception，Websocket的异常信息统计。） message 异常消息 该异常产生的异常消息 STRING LAST 异常（exception，Websocket的异常信息统计。） stackTrace 异常堆栈 该异常产生的堆栈信息 CLOB LAST websocket消息监控（message，websocket消息处理信息。） url url websocket对应的url ENUM LAST websocket消息监控（message，websocket消息处理信息。） errorCount 错误次数 消息处理错误次数 INT SUM websocket消息监控（message，websocket消息处理信息。） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST websocket消息监控（message，websocket消息处理信息。） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST websocket消息监控（message，websocket消息处理信息。） invokeCount 调用次数 消息处理方法调用次数 INT SUM websocket消息监控（message，websocket消息处理信息。） traffic 流量 流量 INT SUM websocket消息监控（message，websocket消息处理信息。） createSessionCount 创建连接数 创建连接数 INT SUM websocket消息监控（message，websocket消息处理信息。） closeSessionCount 关闭连接数 关闭连接数 INT SUM websocket消息监控（message，websocket消息处理信息。） closeReason 关闭原因 连接关闭的原因 STRING LAST websocket消息监控（message，websocket消息处理信息。） maxTime 最大响应时间 最大响应时间 INT MAX websocket消息监控（message，websocket消息处理信息。） totalTime 总响应时间 总响应时间 INT SUM websocket消息监控（message，websocket消息处理信息。） range1 010ms 响应时间在010ms范围请求数 INT SUM websocket消息监控（message，websocket消息处理信息。） range2 10100ms 响应时间在10100ms范围请求数 INT SUM websocket消息监控（message，websocket消息处理信息。） range3 100500ms 响应时间在100500ms范围请求数 INT SUM websocket消息监控（message，websocket消息处理信息。） range4 5001000ms 响应时间在5001000ms范围请求数 INT SUM websocket消息监控（message，websocket消息处理信息。） range5 110s 响应时间在110s范围请求数 INT SUM websocket消息监控（message，websocket消息处理信息。） range6 10s以上 响应时间在10s以上请求数 INT SUM Websocket汇总（total，汇总信息统计。） errorCount 错误次数 总的错误次数 INT SUM Websocket汇总（total，汇总信息统计。） invokeCount 调用次数 总的调用次数 INT SUM Websocket汇总（total，汇总信息统计。） createSessionCount 创建连接数 创建连接数 INT SUM Websocket汇总（total，汇总信息统计。） closeSessionCount 关闭连接数 关闭连接数 INT SUM Websocket汇总（total，汇总信息统计。） traffic 流量 流量 INT SUM Websocket汇总（total，汇总信息统计。） totalTime 总响应时间 总响应时间 INT SUM

参数 描述 STARTTIME 请求开始时间。 REQ(:METHOD) 请求方法。 REQ(XENVOYORIGINALPATH?:PATH) 请求的原始路径，若无则使用标准路径。 PROTOCOL 请求所使用的协议。 RESPONSECODE 服务器对请求的响应状态码。 RESPONSEFLAGS 响应的标志，提供关于响应的特性信息。 BYTESRECEIVED 接收到的字节数，指示请求消息的大小。 BYTESSENT 发送出去的字节数，指示响应消息的大小。 DURATION 请求处理的持续时间，包括接收到请求到发送响应的时间。 RESP(XENVOYUPSTREAMSERVICETIME) 上游服务的响应时间，表示上游服务处理请求所花费的时间。 REQ(XFORWARDEDFOR) 请求的xff头部。 REQ(USERAGENT) 请求的用户代理，标识发起请求的软件。 REQ(XREQUESTID) 请求的唯一标识符，用于跟踪请求的生命周期。 REQ(:AUTHORITY) 请求的主机名，在HTTP/2中对应请求的authority字段。

方案一：先迁生产，再迁消费 指先将生产消息的业务迁移到新的Kafka，原Kafka不会有新的消息生产。待原有Kafka实例的消息全部消费完成后，再将消费消息业务迁移到新的Kafka，开始消费新Kafka实例的消息。 1、将生产客户端的Kafka连接地址修改为新Kafka实例的连接地址。 2、重启生产业务，使得生产者将新的消息发送到新Kafka实例中。 3、观察各消费组在原Kafka的消费进度，直到原Kafka中数据都已经被消费完毕。 4、将消费客户端的Kafka连接地址修改为新Kafka实例的连接地址。 5、重启消费业务，使得消费者从新Kafka实例中消费消息。 6、观察消费者是否能正常从新Kafka实例中获取数据。 7、迁移结束。 本方案为业界通用的迁移方案，操作步骤简单，迁移过程由业务侧自主控制，整个过程中消息不会存在乱序问题， 适用于对消息顺序有要求的场景 。但是该方案中需要等待消费者业务直至消费完毕，存在一个时间差的问题，部分数据可能存在较大的端到端时延。 方案二：同时消费，后迁生产 指消费者业务启用多个消费客户端，分别向原Kafka和新Kafka实例消费消息，然后将生产业务切到新Kafka实例，这样能确保所有消息都被及时消费。 1、启动新的消费客户端，配置Kafka连接地址为新Kafka实例的连接地址，消费新Kafka实例中的数据。 说明 原有消费客户端需继续运行，消费业务同时消费原Kafka与新Kafka实例的消息。 2、修改生产客户端，Kafka连接地址改为新Kafka实例的连接地址。 3、重启生产客户端，将生产业务迁移到新Kafka实例中。 4、生产业务迁移后，观察连接新Kafka实例的消费业务是否正常。 5、等待原Kafka中数据消费完毕，关闭原有消费业务客户端。 6、迁移结束。 迁移过程由业务自主控制。本方案中消费业务会在一段时间内同时消费原Kafka和新Kafka实例。由于在迁移生产业务之前，已经有消费业务运行在新Kafka实例上，因此不会存在端到端时延的问题。但在迁移生产的开始阶段，同时消费原Kafka与新Kafka实例，会导致部分消息之间的生产顺序无法保证，存在消息乱序的问题。此场景 适用于对端到端时延有要求，却对消息顺序不敏感的业务 。 FAQ：如何将持久化数据也一起迁移 如果需要将原Kafka的已消费数据也迁移到Kafka专享实例，可以使用开源工具MirrorMaker，模拟成原Kafka的消费客户端，以及新Kafka实例的生产客户端，将Kafka所有消息数据迁移到新的Kafka实例。 需要注意的是，天翼云Kafka实例为3副本存储，因此建议实例存储空间为原业务的单副本消息存储的3倍。

本文主要介绍云搜索服务的应用场景。 日志检索分析 云搜索服务可以采集分析各类以文件形式存储的日志，包括不限于服务器、容器日志等。结合消息队列Kafka、Logstash对日志数据进行采集清洗，进入Elasticsearch或OpenSearch中存储检索分析，并通过Kibana或Dashboards进行可视化呈现。 高稳定：通过读写限流、查询熔断、集群监控等方式保障。 性能优化：通过支持压缩算法、内核增强节省存储空间，增强读写速率、降低响应延迟。 易用性：支持多种统计分析方法、划分维度，丰富的可视化查询，可对接BI实现拖拽式报表。 站内搜索 面对海量数据，提供分布式的信息检索工具，可根据网站内容进行关键字检索，也可搭建商品检索或推荐系统。 实时检索：支持模糊搜索，数据来源多样且持续写入，站内资料或商品信息更新数秒内即可被检索。 分类统计：检索同时可以将符合条件的结果进行排序或分类统计。 多场景适配：可用于网站、移动端应用搜索、企业内部应用等多种需要快速检索的场景。 数据分析 提供开箱即用的可视化、高聚合分析能力，便捷高效地对海量数据实时分析。更好地适配实时多维分析在线查询服务场景，满足高实时性，高查询QPS，低查询延迟的数据分析要求。 快速响应：支持海量的、数据源多样、字段不固定的数据高并发处理，毫秒级响应。 复杂查询：支持大批量模糊关键字搜索及一些聚合的复杂查询。 向量检索：基于向量特征相似度匹配，支持图文搜索、地理位置搜索。

本文主要介绍监控告警问题。 云监控无法展示Kafka监控数据 Topic监控数据无法展示，可能原因如下： Topic名称开头包含特殊字符，例如下划线“”、号“”。 Kafka实例中没有创建Topic。 解决方法如下： 删除带特殊字符的Topic。 创建Topic。 消费组监控数据无法展示，可能原因如下： 消费组名称开头包含特殊字符，例如下划线“”、号“”。 此消费组从未有消费者连接。 Kafka监控显示消息堆积数跟实例里的消息数不一致？ 问题现象 ：监控显示消息堆积数为8.1亿+，Kafka控制台显示实例中6个Topic的消息数总和为1亿+，两者不一致。 问题结论 ：两者统计方式不同，Kafka控制台显示的消息数为实例中未消费的消息个数，而监控显示的消息堆积数Topic中的消息积压数消费组数。 Kafka的消费组删除了，怎么监控页面还可以看到这个消费组？ 监控数据是每分钟进行采集上报，上报的数据经过整理后才会显示在监控页面上，此过程大约需要几分钟到十几分钟，建议您在删除消费组后，过一段时间再去监控页面查看。

每个 Topic 会有多个分区，每个分区会统计当前消息的总条数，这个称为最大位点 MaxOffset。Kafka Consumer 会按顺序依次消费分区内的每条消息，记录已经消费了的消息条数，称为ConsumerOffset。 剩余的未消费的条数（也称为消息堆积量） MaxOffset ConsumerOffset

本节主要介绍分布式消息服务Kafka如何创建应用用户 场景描述 用户：主要用于规定生产消费指定加密主题的策略而需要，例如规定用户A可生产消费加密Topic1，用户B可生产消费加密Topic2，用户C可生产消费加密Topic1、Topic2，则需要为这三个用户创建用户，并分配加密主题权限。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入用户管理页面，点击新建用户。 （5）在 新建用户的窗口中填入集群名、用户、密码、描述，然后保存。 批量创建用户 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入应用用户管理页面。 （5）点击“批量创建用户”后，出现如下上传文件界面，文件格式件批量下载说明。 （6）点击“上传”完成批量创建。 下载批量创建用户模板 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入用户管理页面。 （5）点击“下载模板”右侧下拉倒三角“下载模板”，内容如下图。 （6）参数说明。 参数 说明 username 用户名 password 密码 description 备注或描述

术语 说明 cURL cURL是一个利用URL语法在命令行下工作的文件传输工具，可用于检测系统是否可以访问目标站点。 Dig Dig是一个在类Unix命令行模式下查询DNS信息（包括NS记录、A记录、MX记录等）的工具。 基线核查 基线核查是指对主机操作系统、数据库、软件和容器的配置进行安全检测，并提供检测结果说明和加固建议。 基线核查可以帮您进行系统安全加固，降低入侵风险并满足安全合规要求。 漏洞扫描 漏洞扫描是指基于漏洞数据库，通过扫描等手段对指定的远程或者本地计算机系统的安全脆弱性进行检测，发现可利用漏洞的一种安全检测（渗透攻击）行为。 引擎 本文的“引擎”为扫描核心技术，即最终进行漏洞扫描工作的服务。 资产 即扫描器所扫描的主机、数据库、网站等。 DDoS 分布式拒绝服务攻击（Distributed Denial of Service Attack，DDoS）是指处于不同位置的多个攻击者同时向一个或数个目标发动攻击，或者一个攻击者控制了位于不同位置的多台机器并利用这些机器对受害者同时实施攻击。由于攻击的发出点是分布在不同地方的，这类攻击称为分布式拒绝服务攻击，其中的攻击者可以有多个。 EDR 端点检测与响应（Endpoint Detection & Response，EDR）是一种主动的安全方法，可以实时监控端点，并搜索渗透到防御系统中的威胁。EDR是一种新兴的技术，可以更好地了解端点上发生的事情，提供关于攻击的上下文和详细信息。 认证 是一种信用保证形式。按照国际标准化组织（ISO）和国际电工委员会（IEC）的定义，由国家认可的认证机构证明一个组织的产品、服务、管理体系符合相关标准、技术规范（TS）或其强制性要求的合格评定活动。 虚拟机 虚拟机（Virtual Machine）指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。 在实体计算机中能够完成的工作在虚拟机中都能够实现。 在计算机中创建虚拟机时，需要将实体机的部分硬盘和内存容量作为虚拟机的硬盘和内存容量。每个虚拟机都有独立的CMOS、硬盘和操作系统，可以像使用实体机一样对虚拟机进行操作。 AES 密码学中的高级加密标准（Advanced Encryption Standard，AES），又称Rijndael加密法，是美国联邦政府采用的一种区块加密标准。这个标准用来替代原先的DES（Data Encryption Standard），已经被多方分析且广为全世界所使用。 Apache Apache是一款Web服务器软件。它可以运行在几乎所有广泛使用的计算机上，由于其跨平台和安全性被广泛使用，是最流行的Web服务器端软件之一。 CC攻击 CC攻击（Challenge Collapsar Attack，挑战黑洞攻击）是DDoS攻击的一种类型，使用代理服务器向受害服务器发送大量假冒合法的请求，造成被攻击服务器资源耗尽，一直到宕机崩溃。 DES DES（Data Encryption Standard，数据加密标准）是一种使用密钥加密的块算法，1977年被美国联邦政府的国家标准局确定为联邦资料处理标准（FIPS），并授权在非密级政府通信中使用，随后该算法在国际上广泛流传开来。 HA 高可靠性（High Availability，简称HA）能够在通信线路或设备发生故障时提供备用方案，防止由于单个产品故障或链路故障导致网络中断，保证网络服务的连续性。 LACP LACP（Link Aggregation Control Protocol，链路聚合控制协议）是一种基于IEEE802.3ad标准的协议。 LACP协议通过LACPDU（Link Aggregation Control Protocol Data Unit，链路聚合控制协议数据单元）与对端交互信息。链路聚合往往用在两个重要节点或繁忙节点之间，既能增加互联带宽，又提供了连接的可靠性。 LDAP LDAP（Lightweight Directory Access Protocol，是轻量目录访问协议）是互联网上目录服务的通用访问协议。 LDAP服务可以有效解决众多网络服务的用户账户问题，LDAP服务器是用于查询和更新LDAP目录的服务器，包括用户账号目录。 MTU 最大传输单元（Maximum Transmission Unit，MTU）用来通知对方所能接受服务单元的最大尺寸，说明发送方能够接受的有效荷载大小。 SSL SSL（Secure Sockets Layer，安全套接字协议）及TLS（Transport Layer Security，继任者传输层安全）是为网络通信提供安全及数据完整性的一种安全协议。TLS与SSL在传输层与应用层之间对网络连接进行加密。 VRRP 虚拟路由冗余协议（Virtual Router Redundancy Protocol，简称VRRP）是由IETF提出的解决局域网中配置静态网关出现单点失效现象的路由协议，它是一种路由容错协议，也可以叫做备份路由协议。 WebShell Webshell就是以asp、php、jsp或者cgi等网页文件形式存在的一种命令执行环境，也可以将其称为一种网页后门。 黑客在入侵了一个网站后，通常会将asp或php后门文件与网站服务器Web目录下正常的网页文件混在一起，然后就可以使用浏览器来访问asp或者php后门，得到一个命令执行环境，以达到控制网站服务器的目的。 Kafka Kafka是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者规模的网站中所有动作流数据。这些数据通常由于吞吐量要求而通过处理日志和日志聚合来解决。 SNMP SNMP（Simple Network Management Protocol，简单网络管理协议）是标准IP网络管理协议，支持目前主流的网络管理系统。 SQL SQL（Structured Query Language，结构化查询语言）是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。 Syslog Syslog是一种行业标准的协议，可用来记录设备的日志。 Syslog日志消息既可以记录在本地文件中，也可以通过网络发送到接收Syslog的服务器。服务器可以对多个设备的Syslog消息进行统一的存储，或者解析其中的内容做相应的处理。常见的应用场景是网络管理工具、安全管理系统、日志审计系统。

本章节介绍应用高可用的产品定义。 产品定义 应用高可用服务 是为应用提供高可用解决方案的产品，包含应用容灾多活 和故障演练服务 ，提供应用流量调度、数据同步、演练容灾一站式管理，助力企业云上业务实现多活高可用建设。 产品优势 多种容灾架构：丰富的容灾架构，满足应用级、业务级多场景容灾。 一站接入管控：应用分层管理，接入层、服务层、数据层等统一纳管调度。 快速恢复预期：确定的流程编排，一键容灾切换，分钟级业务恢复能力。 高效运维监控：组件协同管理，全链路监控告警，容灾运维简单高效。 产品特性 引导接入：可视化引导用户进行应用改造、配置和流程编排，降低用户学习和实施成本。 资源管理：应用核心链路节点资源集成纳管，具备网关、服务、消息、数据等多层组件全栈管理能力。 流量调度：识别应用流量，支持按比例与精准路由规则，控制后端应用流量分配，实现流量分发多活。 数据保护：支持应用核心数据多集群冗余，通过SDK植入管控，实现请求封闭、消息过滤、数据禁写等一致性保护策略。 故障切换：多活应用分层协同切流，保障业务分钟级别恢复。 容灾演练：多活流量灰度验证，确保容灾操作可执行，恢复效果可预期。