场景描述 在RocketMQ中，删除Topic是一个比较重要且敏感的操作，需要谨慎处理。一般来说，删除Topic的场景有以下几种情况： 业务不再需要该Topic：当某个Topic对应的业务已经结束或不再需要时，可以考虑删除该Topic，以释放资源和减少管理工作。 Topic配置错误或不合适：如果创建Topic时配置错误或者配置不合适，可以考虑删除该Topic，并重新创建一个正确的Topic。 数据归档或清理：在某些情况下，可能需要对Topic中的数据进行归档或清理，以释放存储空间。在归档或清理之前，需要先将Topic中的消息备份或迁移到其他地方，确保数据的完整性和可恢复性。 无论是哪种场景，删除Topic都需要注意以下几点： 确保Topic中的消息已经被正确处理和消费：在删除Topic之前，需要确保Topic中的消息已经被正确地处理和消费，以避免数据丢失或处理中断。 停止生产者和消费者对该Topic的操作：在删除Topic之前，需要停止生产者和消费者对该Topic的操作，以避免数据冲突或丢失。 确保删除操作的权限和安全性：删除Topic通常需要管理员或具有相应权限的用户来执行，确保只有授权人员可以进行删除操作。 慎重操作，备份重要数据：在删除Topic之前，建议备份Topic中的重要数据，以防止误操作或数据丢失。 总之，删除Topic是一个敏感操作，需要在慎重考虑和评估后进行，以确保不会对业务和数据产生不可逆的影响。 操作步骤 1、进入Topic管理菜单。 2、在Topic管理菜单选择将要删除的主题，在更多下拉框选择删除，即可完成删除 注意事项： ● 删除主题前必须确保该主题对应的生产消费实例已经全部停止。 ● 删除主题后消息数据会发生丢失。

产品服务协议请查看： 产品服务协议 产品服务等级协议请查看： 产品服务等级协议

本节介绍计费模式。 按量计费 适用场景 按需付费是一种灵活的计费模式，适用于需要灵活调整资源、业务不稳定或资金有限的场景。在选择计费模式时，应结合业务需求和实际情况来做出合适的选择。 收费方式 一种后付费模式，即先使用再付费。 计费说明 开通按需计费资源时，您的天翼云账户余额+通用代金券须大于100元，并且大于按需计费资源（当前已开通+即将要开通）1小时费用的总和。 按需计费根据资源的结算周期进行结算。一般按需计费的结算周期有小时/日/月等，在达到结算周期时，系统会生成账单，进行扣费。 如果账户余额不足，资源将进入保留期，需要在保留期完成缴费，超过保留期，所使用资源将被关停并收回资源。

本章节主要介绍连接类问题 RocketMQ是否支持自建Broker连接云上nameserver？ 不支持。自建Broker连接到云上RocketMQ的nameserver，会影响管理面功能，导致查询不到Topic等问题。

功能 Proxy集群默认只支持DB 0。 通过改写请求的KEY名，实现多DB的功能。 开启多DB后，DB数支持0~255。 打开/关闭方法 1. 登录 Redis管理控制台。 2. 在管理控制台左上角选择实例所在的区域。 3. 在实例列表页，单击目标实例名称进入实例详情管理。 4. 左侧菜单点击实例配置>参数配置，打开参数配置界面，修改multipledb参数后点击保存按钮，即可生效。 注意 注意开启/关闭多DB前，最好先清空数据。 修改后，原来的数据无法正常通过代理访问。 开启多DB后的限制 1. 不支持SWAPDB命令 2. DBSIZE和FLUSHDB命令执行的效率很低，涉及SCAN所有KEY。尽量不要使用 3. SCAN命令和KEYS命令的执行效率也会降低。 4. INFO命令KEYSPACE部分不会展示其他DB的信息。 5. RANDOMKEY命令有限支持。但并不会随机返回所有KEY 6. LUA脚本和FUNCTION函数里面不支持多DB。 脚本和函数里面也不支持使用参数以外的其他KEY访问 7. LUA脚本中不支持使用publish 8. DB支持范围0~255 9. 事务中不支持执行SELECT和MOVE命令 10. 实际存储的KEY是经过改写的。所以从RDB文件或慢语句等其他途径会看到非原始的KEY。但客户端通过代理的场景，则不会有任何影响。

本文介绍节点重启后消费者如何重连，以Java中使用的RabbitMQ客户端amqpclient为例。 amqpclient自带重连机制，但是自带的重连机制只会重试一次，一次连不上后就不会再执行了，这时如果消费者没有做额外的重试机制，那么这个消费者就彻底丧失的消费能力。 amqpclient在节点断连后，根据与通道建立的节点不同，产生不同的错误。 如果通道连接的是队列所在的节点，消费者就会收到一个shutdown信号，这时amqpclient的重连机制就会生效，尝试重新连接服务端。如果连上了，这个通道就会继续连接消费。如果连不上，就会执行channel.close方法，关闭这个通道。 如果通道连接的不是队列所在的节点，消费者不会触发关闭动作，而是由服务端发送的一个取消动作，这个动作对amqpclient来说并不是异常行为，所以日志上不会有明显的报错，但是连接最终还是会关闭。 amqpclient出现上面两种错误时，会分别回调handleShutdownSignal以及handleCancel方法，您可以通过重写这两种方法，在回调时执行重写的重连逻辑，就能在通道关闭后重新创建消费者的新通道继续消费。 以下提供一个简单的代码示例，能够解决上面的两种错误，实现消费者的持续消费。 import com.rabbitmq.client.; import java.io.IOException; import java.nio.charset.StandardCharsets; import java.util.concurrent.TimeoutException; public class MyRabbitConsumer { public static void main(String... args) throws IOException, TimeoutException { ConnectionFactory factory new ConnectionFactory(); factory.setHost("192.168.x.x"); factory.setPort(5672); factory.setUsername("name"); factory.setPassword("password"); Connection connection factory.newConnection(); createNewConnection(connection); } public static void createNewConnection(Connection connection) { try { Channel channel connection.createChannel(); channel.basicQos(64); channel.basicConsume("queue1", false, new CustomConsumer(channel, connection)); } catch (Exception e) { createNewConnection(connection); } } static class CustomConsumer implements Consumer { private final Channel channel; private final Connection connection; public CustomConsumer(Channel channel, Connection connection) { channel channel; connection connection; } @Override public void handleConsumeOk(String consumerTag) {} @Override public void handleCancelOk(String consumerTag) {} @Override public void handleCancel(String consumerTag) throws IOException { createNewConnection(connection); } @Override public void handleShutdownSignal(String consumerTag, ShutdownSignalException sig) { createNewConnection(connection); } @Override public void handleRecoverOk(String consumerTag) {} @Override public void handleDelivery(String consumerTag, Envelope env, AMQP.BasicProperties prop, byte[] body) throws IOException { String message new String(body, StandardCharsets.UTF8); System.out.println("收到消息: " + message); channel.basicAck(env.getDeliveryTag(), false); } } }

本节介绍Kafka 发送给Topic的消息在分区中分布不均衡原因 问题现象 发送消息到某个Topic后，该Topic下部分分区消息比较多，部分分区消息少，甚至没有。 可能原因 发送消息时指定了分区，导致未指定的分区没有消息。 发送消息时指定了消息Key，按照对应的Key发送消息至对应的分区，导致分区消息不均衡。 通过代码重新实现了分区分配策略，但策略逻辑有问题，导致分区消息不均衡。

本节介绍Kafka不推荐使用Sarama Go客户端收发消息 问题现象 所有Sarama Go版本客户端存在以下已知问题： 当Topic新增分区时，Sarama Go客户端无法感知并消费新增分区，需要客户端重启后，才能消费到新增分区。 当Sarama Go客户端同时订阅两个以上的Topic时，有可能会导致部分分区无法正常消费消息。 当Sarama Go客户端的消费位点重置策略设置为Oldest(earliest)时，如果客户端宕机或服务端版本升级，由于Sarama Go客户端自行实现OutOfRange机制，有可能会导致客户端从最小位点开始重新消费所有消息。 解决方案 建议尽早将Sarama Go客户端替换为Confluent Go客户端。

本节介绍Kafka消费客户端频繁出现Rebalance原因及解决方案 可能原因 可能是Kafka客户端版本过低或者Consumer没有独立线程维持心跳。 v0.10.2之前版本的客户端：Consumer没有独立线程维持心跳，而是把心跳维持与poll接口耦合在一起。其结果就是，如果用户消费出现卡顿，就会导致Consumer心跳超时，引发Rebalance。 v0.10.2及之后版本的客户端：如果消费时间过慢，超过一定时间（max.poll.interval.ms设置的值，默认5分钟）未进行poll拉取消息，则会导致客户端主动离开队列，而引发Rebalance。 解决方案 首先您需要了解以下几点信息： session.timeout.ms：心跳超时时间（可以由客户端自行设置）。 max.poll.records：每次poll返回的最大消息数量。 v0.10.2之前版本的客户端：心跳是通过poll接口来实现的，没有内置的独立线程。 v0.10.2及之后版本的客户端：为了防止客户端长时间不进行消费，Kafka客户端在v0.10.2及之后的版本中引入了max.poll.interval.ms配置参数。 （1）参考以下说明调整参数值： session.timeout.ms：v0.10.2之前的版本可适当提高该参数值，需要大于消费一批数据的时间，但不要超过30s，建议设置为25s；而v0.10.2及其之后的版本，保持默认值10s即可。 max.poll.records：降低该参数值，建议远远小于 的积。 max.poll.interval.ms：该值要大于 / ( )的值。 （2）尽量提高客户端的消费速度，消费逻辑另起线程进行处理。 （3）减少Group订阅Topic的数量，一个Group订阅的Topic最好不要超过5个，建议一个Group只订阅一个Topic。 （4）将客户端升级至0.10.2以上版本。

本文记录了用户管理功能使用过程中的常见问题 创建用户时，"密码是否Hash"选项怎么选择？ 正常情况下不需要开启该选项，不开启该选项时，使用SASL连接时，直接使用设置的密码即可。如果开启了该选项，使用SASL连接时，需要取设置的密码的小写32位MD5哈希值。 原先创建的用户，没有涉及到"密码是否Hash"参数，该怎么使用？ 在2025年8月24日之前创建的用户，默认都是开启了"密码是否Hash"选项，即使用SASL连接时，需要取设置的密码的小写32位MD5哈希值。具体用户是否开启了"密码是否Hash"选项，可以通过查看控制台用户管理的用户列表页面得知。 创建用户时，为什么没有"密码是否Hash"选项？ 新租户不支持选择该选项，使用SASL连接时，直接使用设置的密码即可。如果需要使用该功能，可以提单联系我们。

本文介绍Kafka如何配置安全组 客户端只能部署在与Kafka实例处于相同虚拟私有云（VPC）和相同子网的弹性云主机（CTECS）上。 除了CTECS、Kafka实例必须处于相同VPC之外，还需要他们的安全组分别配置了正确的规则，客户端才能访问Kafka实例。 如果CTECS、Kafka实例配置相同的安全组，安全组创建后，默认包含组内网络访问不受限制的规则。 如果CTECS、Kafka实例配置了不同安全组，可参考如下配置方式： 说明 假设CTECS、Kafka实例分别配置了安全组：sgsCTECS、sgsKafka。 以Kafka访问端口9098为例，其它实例请以实际情况为准。 以下规则，远端可使用安全组，也可以使用具体的IP地址。 配置CTECS所在安全组。CTECS所在安全组需要增加如下出方向规则，以保证客户端能正常访问Kafka实例。如果出方向规则不受限，则不用添加。 配置Kafka实例所在安全组。Kafka实例所在安全组需要增加如下入方向规则，以保证能被客户端访问。

本文介绍解决Lettuce 6.x版本客户端鉴权错误问题 使用Lettuce 6.x版本客户端，连接redis 2.8/4.0/5.0集群实例时，会报错"NOAUTH Authentication required"。 原因是Lettuce 6.x版本开始，使用RESP3（Redis 6.x引入）的HELLO命令进行版本自适应判断，但是对于不支持HELLO命令的低版本实例，兼容性存在一定问题。所以对于低版本的实例，建议直接在Lettuce中指定使用RESP2协议（兼容Redis 4/5）的版本来使用。 在客户端连接代码添加指定RESP2协议访问Redis即可解决： @Configuration public class SpringConfig implements LettuceClientConfigurationBuilderCustomizer { @Override public void customize(LettuceClientConfiguration.LettuceClientConfigurationBuilder clientConfigurationBuilder) { // manually specifying RESP2 clientConfigurationBuilder.clientOptions(ClientOptions.builder() .protocolVersion(ProtocolVersion.RESP2) .build()); } }

消费消息 import org.apache.kafka.clients.CommonClientConfigs; import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.clients.consumer.KafkaConsumer; import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.common.config.SslConfigs; import java.util.ArrayList; import java.util.List; import java.util.Properties; public class KafkaConsumerDemo { public static void main(String args[]) { //加载kafka.properties Properties kafkaProperties JavaKafkaConfigurer.getKafkaProperties(); Properties props new Properties(); //设置接入点，请通过控制台获取对应Topic的接入点 props.put(ProducerConfig.BOOTSTRAPSERVERSCONFIG, kafkaProperties.getProperty("bootstrap.servers")); //设置SSL根证书的路径，请记得将XXX修改为自己的路径 props.put(SslConfigs.SSLTRUSTSTORELOCATIONCONFIG, kafkaProperties.getProperty("ssl.truststore.location")); //根证书store的密码，保持不变 props.put(SslConfigs.SSLTRUSTSTOREPASSWORDCONFIG, "c24f5210"); //接入协议，目前支持使用SSL协议接入 props.put(CommonClientConfigs.SECURITYPROTOCOLCONFIG, "SSL"); //两次poll之间的最大允许间隔 //可更加实际拉去数据和客户的版本等设置此值，默认30s props.put(ConsumerConfig.SESSIONTIMEOUTMSCONFIG, 30000); //设置单次拉取的量，走公网访问时，该参数会有较大影响 props.put(ConsumerConfig.MAXPARTITIONFETCHBYTESCONFIG, 32000); props.put(ConsumerConfig.FETCHMAXBYTESCONFIG, 32000); //每次poll的最大数量 //注意该值不要改得太大，如果poll太多数据，而不能在下次poll之前消费完，则会触发一次负载均衡，产生卡顿 props.put(ConsumerConfig.MAXPOLLRECORDSCONFIG, 30); //消息的反序列化方式 props.put(ConsumerConfig.KEYDESERIALIZERCLASSCONFIG, "org.apache.kafka.common.serialization.StringDeserializer"); props.put(ConsumerConfig.VALUEDESERIALIZERCLASSCONFIG, "org.apache.kafka.common.serialization.StringDeserializer"); //当前消费实例所属的消费组，请在控制台申请之后填写 //属于同一个组的消费实例，会负载消费消息 props.put(ConsumerConfig.GROUPIDCONFIG, kafkaProperties.getProperty("group.id")); //hostname校验改成空 props.put(SslConfigs.SSLENDPOINTIDENTIFICATIONALGORITHMCONFIG, ""); //构造消息对象，也即生成一个消费实例 KafkaConsumer consumer new org.apache.kafka.clients.consumer.KafkaConsumer (props); //设置消费组订阅的Topic，可以订阅多个 //如果GROUPIDCONFIG是一样，则订阅的Topic也建议设置成一样 List subscribedTopics new ArrayList (); //如果需要订阅多个Topic，则在这里add进去即可 //每个Topic需要先在控制台进行创建 subscribedTopics.add(kafkaProperties.getProperty("topic")); consumer.subscribe(subscribedTopics); //循环消费消息 while (true){ try { ConsumerRecords records consumer.poll(1000); //必须在下次poll之前消费完这些数据, 且总耗时不得超过SESSIONTIMEOUTMSCONFIG //建议开一个单独的线程池来消费消息，然后异步返回结果 for (ConsumerRecord record : records) { System.out.println(String.format("Consume partition:%d offset:%d", record.partition(), record.offset())); } } catch (Exception e) { try { Thread.sleep(1000); } catch (Throwable ignore) { } e.printStackTrace(); } } } }

开发环境 Maven Apache Maven 2.5及以上版本，可至Maven官方网站下载。 JDK Java Development Kit 1.8及以上版本，可至Oracle官方网站下载。 安装后注意配置JAVA的环境变量。 IntelliJ IDEA 获取并安装IntelliJ IDEA，可至IntelliJ IDEA官方网站下载。 操作步骤 1. 下载Demo包kafkajavademo.zip 下载后解压，有如下文件： 表1 KAFKA Demo文件清单 文件名 路径 说明 ::: JavaKafkaConfigurer.java .srcmainjavajavaDemo 读取Kafka配置文件。 KafkaConsumerDemo.java .srcmainjavajavaDemo 消费消息。 KafkaMultiConsumerDemo.java .srcmainjavajavaDemo 批量消费消息。 KafkaProducerDemo.java .srcmainjavajavaDemo 生产消息。 kafka.properties .srcmainresources kafka配置参数 pom.xml . maven配置文件，包含Kafka客户端引用。 2. 打开IntelliJ IDEA，导入Demo。Demo是一个Maven构建的Java工程，因此需要配置JDK环境，以及IDEA的Maven插件。 3. 修改Kafka配置信息。 修改kafka.properties 修改demo文件中的属性变量

提高消费速度有以下两个办法： 增加 Consumer 实例个数。 增加消费线程。

本节介绍Kafka发送告警最佳实践 场景描述 如果您想要在消费组的消息堆积数超过阈值时，通过短信/邮件及时收到通知信息，可以参考本章节设置告警通知。 前提条件 已购买Kafka实例、创建Topic，并且已成功消费消息。 操作步骤 1. 登录Kafka实例控制台，单击待创建告警通知的实例名称，进入实例详情页。 2. 在左侧导航栏，选择“告警管理”，进入告警管理页面。 3. 点击“通知组”页签，创建联系人。 4. 点击“通知策略”页签，点击右上角“创建通知策略”按钮。 通知对象：选择前面流程中创建的联系人，在右侧选择联系方式邮件短信。 通知模板：可选择邮件、短信、翼连三种告警方式。 5. 点击“告警规则”页签，点击左上角“创建告警规则”按钮。 说明 告警名称：用于区别不同告警。 告警分组：可选择实例节点、主题和消费组，可根据具体需求选择，本文涉及情况应选择消费组。 告警指标：不同的告警分组包含不同的告警指标，本文涉及情况选择的是消费组中的堆积数告警。 告警条件：根据具体业务需求填写信息。 告警内容：不同的告警指标对应不同的告警内容，不建议改动。 持续时间：可选择马上告警，也可选择持续一段时间后才告警。 告警等级：可选择一般、次要、重要、紧急四个等级。 通知策略：选择前面流程中创建的通知策略。 通知频率：可选择隔多长时间告警一次。 6. 规则创建成功后可在告警规则页面查看其状态。

前提条件 2024年11月23号之后开通的实例才支持该功能。 重平衡日志功能依赖于云日志服务，在开启重平衡日志功能前需要先开启云日志服务。 操作步骤 1. 登录管理控制台。 2. 进入Kafka管理控制台。 3. 在实例列表页的操作列，目标实例行点击“管理”。 4. 点击“可观测”后，选择“重平衡日志”进入重平衡日志功能界面。 5. 首次进入该功能界面，需要手动开启。 6. 如需要关闭重平衡日志服务，可点击右上角“关闭重平衡日志”按钮。

前提条件 只有当实例状态为“运行中”时才可以进行重启操作。 注意：重启过程中，实例将会有短暂时间停止服务。 操作步骤 1. 登录管理控制台。 2. 进入Kafka管理控制台。 3. 在实例列表页的操作列，目标实例行点击“更多”按钮。 4. 在下拉框内点击“重启”按钮。 5. 点击弹框内的“确认”按钮完成操作，实例状态变为“重启中”。 6. 等待一段时间后，重启成功实例恢复运行状态，否则状态为“重启失败”。

业务场景 将 Redis 客户端部署到 CCSE 集群中，以通过 CCSE 连接到 Redis，并访问和操作 Redis 数据。 业务需求 1. 将 Redis 客户端容器化，以便更好地管理和部署。 2. 用 CCSE 提供的容器编排能力，实现高可用和负载均衡。 3. 确保 Redis 客户端能够安全地连接到 Redis，并正常地进行数据读写操作。 需求分析 1. 准备 Redis 客户端容器镜像，包含 Redis 客户端的依赖和配置。 2. 创建 CCSE 集群，配置网络和节点资源。 3. 部署 Redis 客户端容器到 CCSE 集群中。 4. 配置容器环境变量，指定连接 Redis 的相关信息。 5. 运行 Redis 客户端容器，并测试连接和数据操作功能。 实现方案 1. 准备 Redis 客户端容器镜像：创建一个 Dockerfile，并在其中指定 Redis 客户端的版本和依赖。例如： FROM redis:latest 配置客户端所需的其他依赖和配置 ... 2. 创建 CCSE 集群：在 CCSE 控制台创建一个集群，并配置网络和节点资源。根据实际需求选择合适的规格和数量。 3. 部署 Redis 客户端容器：使用 CCSE 控制台或命令行工具，在创建的 CCSE 集群中部署 Redis 客户端容器。指定前面准备的 Redis 客户端容器镜像。 4. 配置容器环境变量：在 Redis 客户端容器中配置连接 Redis 的环境变量，包括 Redis 服务器的地址、端口、密码等。例如，在容器启动时，设置以下环境变量 export REDISHOSTyourdcshost export REDISPORTyourdcsport export REDISPASSWORDyourdcspassword 5. 测试连接和数据操作：启动 Redis 客户端容器，并使用适当的客户端库和代码进行连接测试和数据操作。例如，使用 Java 语言的 Jedis 客户端库： import redis.clients.jedis.Jedis; public class RedisClientExample { public static void main(String[] args) { // 获取环境变量 String host System.getenv("REDISHOST"); int port Integer.parseInt(System.getenv("REDISPORT")); String password System.getenv("REDISPASSWORD"); // 创建 Jedis 客户端实例 Jedis jedis new Jedis(host, port); jedis.auth(password); // 进行数据操作 jedis.set("key", "value"); String value jedis.get("key"); System.out.println("Value: " + value); // 关闭连接 jedis.close(); } } 以上示例代码展示了如何使用 Java 的 Jedis 客户端库连接 Redis，并进行数据操作。您可以根据自己的需求和使用的编程语言选择适当的客户端库，并根据环境变量配置连接参数。 通过以上步骤，您可以将 Redis 客户端部署到 CCSE 集群容器中，并通过 CCSE 连接到Redis，实现对 Redis 数据的访问和操作。

每个 Topic 会有多个分区，每个分区会统计当前消息的总条数，这个称为最大位点 MaxOffset。Kafka Consumer 会按顺序依次消费分区内的每条消息，记录已经消费了的消息条数，称为ConsumerOffset。 剩余的未消费的条数（也称为消息堆积量） MaxOffset ConsumerOffset

本文介绍Redis实例的发布订阅(pubsub)注意事项 订阅和发布的顺序：在使用 Redis 的发布订阅功能时，订阅者（Subscriber）必须先订阅频道（Channel）才能接收到发布者（Publisher）发送的消息。如果先发布消息而没有订阅者监听该频道，那么消息将会丢失。因此，在使用发布订阅功能时，要确保订阅者在发布者发送消息之前已经成功订阅了频道。 异步处理：Redis 的发布订阅功能是异步的，即发布者发送消息后，订阅者可能不会立即接收到消息。这是因为订阅者与发布者之间存在网络延迟和处理时间。因此，在订阅消息后，订阅者需要以异步方式处理接收到的消息，并考虑可能出现的延迟。 取消订阅：当不再需要接收某个频道的消息时，订阅者应该主动取消订阅，以减少不必要的网络开销和资源消耗。可以使用 UNSUBSCRIBE 命令取消订阅指定频道，或使用 PUNSUBSCRIBE 命令取消订阅所有频道。 频道命名规范：在定义频道名称时，要注意选择有意义且易于区分的名称。频道名称可以是字符串，但最好遵循一定的命名规范，以免产生混淆或错误地订阅了不正确的频道。 安全性考虑：Redis 的发布订阅功能是公开的，任何连接到 Redis 的客户端都可以订阅频道并接收消息。因此，要特别注意在敏感信息传输或涉及安全性的场景中使用发布订阅功能，并考虑适当的安全措施，例如使用认证和加密等方式来保护数据的安全性。

本章介绍了如何获取SDK。 引入依赖 java com.rabbitmq amqpclient 5.8.0

本文介绍如何检测弹性云主机与Redis之间的网络连接 新建Redis实例后，或在使用过程中突然无法连接Redis实例时，您可以在ECS的命令行中使用PING命令检测ECS与Redis实例网络是否能够连通。 操作步骤： 1.获取Redis实例的连接地址，更多信息请参见查看链接地址 2.登录客户端所在的ECS实例，并在命令行中执行PING命令。例如Redis实例的连接地址为{IP}，命令示例如下。 ping {IP} 说明 如果需要持续检测连通性请使用ping t命令。 Linux系统执行该命令后将会持续发送ping请求，您可以按下键盘上的Ctrl键加C键停止执行并统计结果。 结果分析： 如果所有请求都成功收到了回复，则连接正常。 如果未收到正常回复，则连接异常，常见失败原因如下： ECS异常行为触发安全策略，导致服务被禁止。请检查服务器，在安全组的出方向设置精确的规则，例如限定该ECS只能访问业务需要的地址和端口，此处为Redis实例的33016端口，更多信息请参见本节如何配置安全组 您的本地设备由于网络防火墙等自身原因，无法连接到Redis，请进行检查。

方案概述 Kafka将Topic划分为多个分区，消息被存储在不同的分区中。在同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积，从而会造成消息消费延迟。 导致消息堆积的常见原因如下： 生产者短时间内生产大量消息到Topic，消费者无法及时消费。 消费者的消费能力不足（消费者并发低、消息处理时间长），导致消费效率低于生产效率。 消费者异常（如消费者故障、消费者网络异常等）导致无法消费消息。 Topic分区设置不合理（leader副本都集中在部分Broker中、分区数太少），或新增分区无消费者消费。 Topic频繁重平衡导致性能下降，消费效率降低。 实施步骤 从消息堆积的原因看，消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 消费者端 根据实际业务需求，合理增加消费者个数（消费并发度），建议消费者数量和分区数保持一致。 提高消费者的消费速度，通过优化消费者处理逻辑（减少复杂计算、第三方接口调用和读库操作），减少消费时间。 增加消费者每次拉取消息的数量：拉取数据/处理时间 > 生产速度。 生产者端 生产消息时，给消息Key加随机后缀，使消息均衡分布到不同分区上。（在实际业务场景中，为消息Key加随机后缀，会导致消息全局不保序，需根据实际业务判断是否适合给消息Key加随机后缀。） 服务端 合理设置Topic的分区数，在不影响业务处理效率的情况下，调大Topic的分区数量。 当服务端出现消息堆积时，对生产者进行熔断，或将生产者的消息转发到其他Topic。

本文主要介绍消息队列 Kafka 通过SSL接入的最佳实践，从而帮助您更好的使用该产品。 文中的最佳实践基于消息队列 Kafka 的 Java 客户端；对于其它语言的客户端，其基本概念与思想是通用的，但实现细节可能有差异，仅供参考。 背景 云消息队列 Kafka 版实例如果选择SASLSSL接入时，可能会出现性能较差的情况。可以通过在客户端指定密码套件的方式，手动选择性能和安全性都较高的套件进行TLS通讯。 SSL握手时客户端发送Hello Client 并带上客户端支持的密码套件，服务端收到握手请求后，获取客户端带来的密码套件和服务端支持的密码套件取交集。密码套件加载顺序受客户端jdk版本影响，不同jdk版本，密码套件顺序不一样，可能会导致性能和安全性等无法保证。因此为了保证性能，SSL连接时客户端可以指定密码套件。 推荐的性能和安全性较高的密码套件 TLSECDHERSAWITHAES256GCMSHA384 TLSECDHERSAWITHAES128GCMSHA256 步骤 1.先按照SASLSSL协议接入Kafka，SASLSSL接入可参考文档 SASLSSL接入点接入 2.在此基础上增加 ssl.cipher.suites 配置 客户端关键参数 java Properties props new Properties(); props.put(ProducerConfig.BOOTSTRAPSERVERSCONFIG, BROKERADDR); props.put(ProducerConfig.VALUESERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.KEYSERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(CommonClientConfigs.SECURITYPROTOCOLCONFIG, "SASLSSL"); props.put("sasl.mechanism", "SCRAMSHA512"); props.put(SaslConfigs.SASLJAASCONFIG, "org.apache.kafka.common.security.scram.ScramLoginModule required username"testuser" password"f6eca4dbc78df78d63fba980e448185f";");//注：上面的密码f6eca4dbc78df78d63fba980e448185f，为用户管理里面创建用户时填入的密码进行md5的结果，md5取32位小写 props.put("ssl.truststore.location","/kafka/client.truststore.jks"); props.put("ssl.truststore.password","sJses2tin1@23"); props.put("ssl.endpoint.identification.algorithm",""); props.put("ssl.cipher.suites","TLSECDHERSAWITHAES256GCMSHA384,TLSECDHERSAWITHAES128GCMSHA256");//密码套件支持多个，用半角逗号分开

Kafka 自身没有消息广播的语义，可以通过创建不同的 Consumer Group 来模拟实现。

Kafka 自身没有消息过滤的语义。实践中可以采取以下两个办法： 如果过滤的种类不多，可以采取多个 Topic 的方式达到过滤的目的； 如果过滤的种类多，则最好在客户端业务层面自行过滤。 实践中请根据业务具体情况进行选择，也可以综合运用上面两种办法。

为了进一步提升云服务的安全性，加强实例访问的默认保护机制，对新创建RabbitMQ实例的默认安全组策略进行优化调整。 调整内容 自本公告发布之日起，新开通RabbitMQ实例使用的安全组未配置vpc内入方向安全组规则，将默认禁止同VPC内访问RabbitMQ实例服务端口。此变更旨在遵循最小权限安全原则，降低因配置疏忽导致的安全风险。 影响说明 若您使用的安全组未进行额外配置，新建的实例将无法被同VPC内的云主机访问。 应对措施 如需恢复VPC内访问，请您手动配置安全组规则，具体操作如下： 在安全组入方向规则中添加以下策略： 授权策略：允许。 协议类型：TCP。 端口范围：RabbitMQ实例服务端口。 源地址：您的VPC网段（如：192.168.0.0/16）。 配置完成后，同VPC内的云主机即可正常访问RabbitMQ实例服务。 建议 为保障业务安全，建议您根据实际需求精确设置访问源IP或网段，避免开放不必要的访问权限。 此次调整仅影响新创建的实例，已有实例的访问策略保持不变，不受此次调整影响。感谢您对云服务安全的支持与理解。如有疑问，请联系技术支持。 特此公告。

测试环境说明 项目 说明 测试实例规格 基础Cluster版双副本24G(3分片)。 测试实例引擎版本 7.0。 测试实例地域和可用区 上海36 可用区1。 压测机器的规格 c7.4xlarge.2。 压测机器的操作系统 CTyunOS 2.0.121.06.4 64位。 压测机器地域和可用区 上海36 可用区1。 压测机器网络 与Redis实例为相同VPC区，与Redis实例可通过VPC连接。 压测工具 redisbenchmark。 测试命令 redisbenchmark h ${host} p ${port} cluster a ${password} c ${connectionnum} n 20000000 d 32 r 2000000 t set,get threads 8 说明 参数说明，根据具体情况替换： ${host}: Redis连接地址 ， ${port}：Redis服务端口，${password} : 密码 ， ${connectionnum}： 连接数。 测试结果 以下测试结果仅供参考，不同的机器环境和网络波动等客观条件可能产生性能差异。 性能指标说明： 性能指标 说明 QPS Query Per Second，表示每秒处理的请求数，单位是次/秒。 延迟 操作的平均延迟时间，单位为毫秒（ms）。 %延迟 比如99%操作延迟，指99%操作的最大延迟时间，单位为毫秒（ms）。例如该指标的值为15毫秒，表示99%的请求可以在15毫秒内被处理 表1 SET 命令的测试结果 实例规格 CPU类型 连接数 QPS 平均延迟(ms) 95%延迟(ms) 99%延迟(ms) 基础Cluster版双副本24G(3分片) X86 1000 418480.09 2.302 3.143 3.751 基础Cluster版双副本24G(3分片) X86 3000 431322.66 6.691 9.167 12.191 基础Cluster版双副本24G(3分片) X86 10000 394960.31 23.996 36.127 207.999 表2 GET 命令的测试结果 实例规格 CPU类型 连接数 QPS 平均延迟(ms) 95%延迟(ms) 99%延迟(ms) 基础Cluster版双副本24G(3分片) X86 1000 454215.09 2.116 2.487 2.855 基础Cluster版双副本24G(3分片) X86 3000 445960.72 6.486 7.359 208.511 基础Cluster版双副本24G(3分片) X86 10000 417466.81 23.029 31.855 237.823

Kafka实例信息准备 实例连接地址与端口 实例创建后，从Kafka实例控制台的实例详情页签中的接入点信息栏获取。若Kafka实例为集群部署，至少有3个连接地址，在客户端配置时，建议将地址都配上。 如果开启公网访问，还可以使用实例详情页签中的接入点信息栏中的公网连接地址访问Kafka实例。 Topic名称 从Kafka实例控制台的Topic管理页签中获取Topic名称。 SASL信息 如果实例创建时开启SASL访问，则需要获得SASLSSL用户名与密码、SSL证书、Kafka安全机制和SASL认证机制。 SASL用户名在Kafka实例控制台的“用户管理”页签中查看，如果忘记密码，可以点击“修改”重置密码。 SSL证书 SSL证书，在Kafka实例控制台的实例详情页中的接入点信息栏，选择希望的接入类型，点击其右侧的“查看所有IP和端口信息”，在弹窗中点击SSL接入点右侧的“下载”按钮即可获得。 使用Java语言连接实例时，需要用jks格式的证书。使用Python语言连接实例时，需要用pem格式的证书(可通过jks格式证书转换)。

编译安装(仅限Linux操作系统) 从源码上编译上安装。 1. 下载源码： redis7.2.4.tar.gz 2. 解压缩安装包 tar zxf redis7.2.4.tar.gz 3. 编译 cd redis7.2.4 make 4. 安装 make install 性能测试建议 为了排除网络或其他因素干扰， 建议Redis服务、ECS机器都是在同一个VPC区、可用区、子网和安全组。 而且压测的ECS机器也关闭了所有的防火墙。

Kafka实例完全兼容开源Kafka协议，可以直接使用kafka开源客户端连接。如果使用SASL认证方式，则在开源客户端基础上使用云服务提供的证书文件。 本指南主要介绍实例连接信息的收集，如获取实例连接地址、SASL连接使用的证书、公网访问信息等，然后提供Java、Python和Go等语言的连接示例。 本指南的示例仅展示Kafka的API调用，生产与消费的API集，请参考Kafka官网。