本文介绍如何使用Redisdesktopmanager访问Redis实例 通过VPC子网访问 Redis。 填写连接信息： 打开 Redis Desktop Manager 并选择连接类型为 Redis。 在连接配置中，填写 DCS 实例的子网地址、端口，以及相应的密码。 测试连接： 在填写完连接信息后，单击界面左下角的“测试连接”按钮。 确认连接正常： 如果提示连接成功，说明连接已经建立成功。 操作完成。

环境安装 1. 安装Python。（Python版本为2.7或3.X。） 2. 安装依赖库。（使用公网连接需要安装confluentkafka 1.9.2及以下版本的依赖库） pip install confluentkafka1.9.2 3. 下载Demo包kafkaconfluentpythondemo.zip。 配置修改 1. 如果是ssl连接，需要在控制台下载证书。并且解压压缩包得到ssl.client.truststore.jks，执行以下命令生成caRoot.pem文件。 keytool importkeystore srckeystore ssl.client.truststore.jks destkeystore caRoot.p12 deststoretype pkcs12 openssl pkcs12 in caRoot.p12 out caRoot.pem 2. 修改setting.py文件。（calocation仅在ssl连接时需要配置） kafkasetting { 'bootstrapservers': 'XXX', 'topicname': 'XXX', 'groupname': 'XXX' } 生产消息 发送以下命令发送消息。 python kafkaproducer.py 生产消息示例代码如下： from confluentkafka import Producer import setting conf setting.kafkasetting """初始化一个 Producer 对象""" p Producer({'bootstrap.servers': conf['bootstrapservers']}) def deliveryreport(err, msg): """ Called once for each message produced to indicate delivery result. Triggered by poll() or flush(). """ if err is not None: print('Message delivery failed: {}'.format(err)) else: print('Message delivered to {} [{}]'.format(msg.topic(), msg.partition())) """异步发送消息""" p.produce(conf['topicname'], "Hello".encode('utf8'), callbackdeliveryreport) p.poll(0) """在程序结束时，调用flush""" p.flush() 消费消息 发送以下命令消费消息。 python kafkaconsumer.py 消费消息示例代码如下： from confluentkafka import Consumer, KafkaError import setting conf setting.kafkasetting c Consumer({ 'bootstrap.servers': conf['bootstrapservers'], 'group.id': conf['groupname'], 'auto.offset.reset': 'latest' }) c.subscribe([conf['topicname']]) while True: msg c.poll(1.0) if msg is None: continue if msg.error(): if msg.error().code() KafkaError.PARTITIONEOF: continue else: print("Consumer error: {}".format(msg.error())) continue print('Received message: {}'.format(msg.value().decode('utf8'))) c.close()

非SSL认证方式 import sys from kombu import Connection, Exchange, Queue, Consumer def Main(argv): rabbitmqurl 'amqp://USERNAME:PASSWORD@XXX:xxx/' conn Connection(rabbitmqurl, loginmethod'PLAIN') exchange Exchange("exampleexchange", type"direct") queue Queue(name"examplequeue", exchangeexchange, routingkey"testkey") def processmessage(body, message): print("receive message: %s" % format(body)) message.ack() with Consumer(conn, queuesqueue, callbacks[processmessage], accept["text/plain"]): conn.drainevents(timeout2) if name 'main': Main(sys.argv)

SSL消费消息 import com.rabbitmq.client.; import javax.net.ssl.KeyManagerFactory; import javax.net.ssl.SSLContext; import javax.net.ssl.TrustManagerFactory; import java.io.FileInputStream; import java.io.IOException; import java.nio.charset.StandardCharsets; import java.security.; import java.security.cert.CertificateException; import java.util.concurrent.TimeoutException; public class RabbitmqConsumerSsl { //队列名称 private final static String QUEUENAME "helloMQ"; public static void main(String[] args) throws IOException, TimeoutException { //创建连接工厂 ConnectionFactory factory new ConnectionFactory(); //设置主机ip factory.setHost("127.0.0.1"); // 设置amqp的ssl端口号 factory.setPort(5671); String ksFile "/sslpath/ssl/clientrabbitmqkey.p12"; String tksFile "/sslpath/ssl/truststore"; SSLContext c null; try { char[] keyPassphrase "YOUR PASSPHRASE".toCharArray(); KeyStore ks KeyStore.getInstance("PKCS12"); ks.load(new FileInputStream(ksFile), keyPassphrase); KeyManagerFactory kmf KeyManagerFactory.getInstance("SunX509"); kmf.init(ks, keyPassphrase); char[] trustPassphrase "YOUR PASSPHRASE".toCharArray(); KeyStore tks KeyStore.getInstance("JKS"); tks.load(new FileInputStream(tksFile), trustPassphrase); TrustManagerFactory tmf TrustManagerFactory.getInstance("SunX509"); tmf.init(tks); c SSLContext.getInstance("tlsv1.2"); c.init(kmf.getKeyManagers(), tmf.getTrustManagers(), null); } catch (KeyStoreException e) { throw new RuntimeException(e); } catch (NoSuchAlgorithmException e) { throw new RuntimeException(e); } catch (CertificateException e) { throw new RuntimeException(e); } catch (UnrecoverableKeyException e) { throw new RuntimeException(e); } catch (KeyManagementException e) { throw new RuntimeException(e); } factory.setSaslConfig(DefaultSaslConfig.EXTERNAL); factory.useSslProtocol(c); //设置Vhost，需要在控制台先创建 factory.setVirtualHost("vhost"); //基于网络环境合理设置超时时间 factory.setConnectionTimeout(30 1000); factory.setHandshakeTimeout(30 1000); factory.setShutdownTimeout(0); Connection connection factory.newConnection(); Channel channel connection.createChannel(); //声明队列，主要为了防止消息接收者先运行此程序，队列还不存在时创建队列。 channel.queueDeclare(QUEUENAME, false, false, false, null); System.out.println(" [] Waiting for messages. To exit press CTRL+C"); Consumer consumer new DefaultConsumer(channel) { @Override public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException { String message new String(body, StandardCharsets.UTF8); System.out.println("Received message: '" + message + "'"); } }; channel.basicConsume(QUEUENAME, true, consumer); } }

本文介绍Redis实例支持SSL加密传输 Redis 6.0基础版实例SSL默认关闭，如需开启SSL加密传输，请参考SSL设置。 在开启SSL加密传输时，会为每个实例生成唯一的服务证书。客户端可以使用从服务控制台上下载的CA根证书，并在连接实例时提供该证书，对实例服务端进行认证并达到加密传输的目的。 Redis 2.8/4.0/5.0不支持SSL加密传输，仅支持明文传输。

迁移后验证 迁移完成后，请使用Rediscli连接源Redis和目标Redis，验证数据的完整性。 查看非cluster原生集群版 数据情况 ./rediscli h $host p $port a $psw dbsize 查看cluster原生集群版 数据情况 ./rediscli a $psw cluster call $host:$port dbsize 说明 如果无增量同步，则迁移过程中源Redis写操作不会同步到目标Redis。

本节介绍Kafka业务过载最佳实践 方案概述 Kafka业务过载，一般表现为CPU使用率高、磁盘写满的现象。 当CPU使用率过高时，系统的运行速度会降低，并有加速硬件损坏的风险。 当磁盘写满时，相应磁盘上的Kafka日志目录会出现offline问题。此时，该磁盘上的分区副本不可读写，降低了分区的可用性和容错能力。同时由于Leader分区迁移到其他节点，会增加其他节点的负载。 CPU使用率高的原因 数据操作相关线程数（num.io.threads、num.network.threads、num.replica.fetchers）过多，导致CPU繁忙。 分区设置不合理，所有的生产和消费都集中在某个节点上，导致CPU利用率高。 磁盘写满的原因 业务数据增长较快，已有的磁盘空间不能满足业务数据需要。 节点内磁盘使用率不均衡，生产的消息集中在某个分区，导致分区所在的磁盘写满。 Topic的数据老化时间设置过大，保存了过多的历史数据，容易导致磁盘写满。 实施步骤 CPU使用率高的处理措施： 优化线程参数num.io.threads、num.network.threads和num.replica.fetchers的配置。 num.io.threads和num.network.threads建议配置为磁盘个数的倍数，但不能超过CPU核数。 num.replica.fetchers建议配置不超过5。 合理设置Topic的分区，分区一般设置为节点个数的倍数。 生产消息时，给消息Key加随机后缀，使消息均衡分布到不同分区上。 磁盘写满的处理措施： 扩容磁盘，使磁盘具备更大的存储空间。 迁移分区，将已写满的磁盘中的分区迁移到本节点的其他磁盘中。 合理设置Topic的数据老化时间，减少历史数据的容量大小。 在CPU资源情况可控的情况下，使用压缩算法对数据进行压缩。 常用的压缩算法包括：ZIP，GZIP，SNAPPY，LZ4等。选择压缩算法时，需考虑数据的压缩率和压缩耗时。通常压缩率越高的算法，压缩耗时也越高。对于性能要求高的系统，可以选择压缩速度快的算法，比如LZ4；对于需要更高压缩比的系统，可以选择压缩率高的算法，比如GZIP。 可以在生产者端配置“compression.type”参数来启用指定类型的压缩算法。 Properties props new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("acks", "all"); props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); // 开启GZIP压缩 props.put("compression.type", "gzip"); Producer producer new KafkaProducer<>(props);

本文介绍使用RedisShake工具迁移自建Redis Cluster集群 RedisShake是一个开源的Redis迁移工具，可以用于在线迁移和离线迁移（通过备份文件导入）。当你需要迁移部署在其他云厂商上的 Redis集群数据时，如果无法进行在线迁移，你可以选择离线迁移的方式。 在线迁移 在线迁移主要适用于自建Redis Cluster集群迁移到DCS Redis的场景，且两端集群实例能够网络连通，或者有一台中转服务器能够连通两端集群实例。 在线迁移有多种模式，如果SYNC、PSYNC命令未被禁用，建议采用syncreader模式，否则可使用scanreader模式，具体见RedisShake官方社区。 1、在DCS控制台创建Redis实例。 注意 新创建的Redis实例容量不能小于源端Redis实例的实际使用容量。 2、准备一台云服务器，并安装RedisShake。 RedisShake需既能访问源端缓存实例，也能访问目标端DCS 缓存，需要绑定弹性公网IP 3、获取源集群和目标集群的ip地址。 如果源实例或者目标实例是proxy模式架构，则获取proxy ip即可。 4、编辑RedisShake配置文件。 编辑redisshake工具配置文件shake.toml，补充迁移双方信息，及迁移模式。 [syncreader] cluster false set to true if source is a redis cluster address "ip:port" when cluster is true, set address to one of the cluster node username "" keep empty if not using ACL password "" keep empty if no authentication is required tls false syncrdb true set to false if you don't want to sync rdb syncaof true

本文介绍Redis集群版客户端常见错误码 50010001：路由队列堵塞。 50010002：添加路由队列异常。 50010003： 路由处理异常。 50010004：注册客户端读失败。 50010005：超过允许的最大客户端连接数。 50010006：注册目标路由读事件异常。 50010007：单个客户端连接请求数大于规定值。 50010008：协议异常，一般为客户端发送了不支持的命令或者断开连接。 50010009：不完整的报文。 50010010：读取redis超时。表示已经发送给redis，redis处理超时；检查请求报文是否过大，如果请求报文过大，建议拆小。 50010011：网络io异常。 50010012：目标服务器繁忙,稍后再试。 50010013：获取目标路由主机失败，检查redis机器是否io繁忙。 50010014：路由主机配置端口不合法。 50010015：连接目标主机失败。 50010016：目标主机网络繁忙。 50010017：路由发送给目标主机时网络错误。 50010018：读取解析客户端请求失败。 50010019：注册redis服务端返回失败。 50010020：redis read io exception。 50010021：接入机内部异常。 50010022：内存池不够。 50010023：处理客户端报文异常。 50010024：route 程序bug。 50010025：没有该分组权限。 50010026：实例密码错误。 50010027：集群版鉴权实例名错误。 50010028：客户端IP不在IP白名单内。 50010029： 用户时间失效。 50010030：解析报文失败。 50010031：鉴权信息不完整。 50010032：尚未通过鉴权，未获取到鉴权通过信息。 50010033：尚未通过鉴权，未获取到鉴权分组信息。 50010034：尚未选择分组，未获取到选择分组信息。 50010036：dborder越界。 50010037：获取接入机对应用户名失败。 50010038：订单服务冻结，获取接入机服务失败。 50010039：该分组不存在。 50010040：操作的集合个数不能超过10个。 50010041：每个集合的大小不能超过1000个。 50010042：接入机改造命令限制30k。 50010043：该账户禁止写数据。 50010044：读取redis返回报文串包。 50010047：订阅连接超时错误码。 50010048：接入机不支持的命令。 50010049：接入机read only错误。 50010050：redis内存满。

本文介绍执行命令时出现20010004错误码原因及解决方法 20010004错误码的含义是执行命令超时 可能的原因： （1）发起执行耗时的操作，比如删大对象，批量获取数据、存取大报文数据等，此时在管理平台监控界面查看超时操作类型、分组号、ip等信息、以及报文大小是否超过32K； （2）系统过载繁忙，通过监控界面看到的请求量巨大，伴随少量超时错误率返回，一般小于万分之一； （3）应用程序出现full gc。 解决方法: （1）优化应用程序逻辑，增加客户端超时时间，如请求报文过大，建议拆小； （2）根据监控系统错误码来自接入层还是存储层，对瓶颈节点进行系统扩容。

可以在进程内直接增加（需要保证每个实例对应一个线程，否则没有太大意义），也可以部署多个消费实例进程；需要注意的是，实例个数超过分区数量后就不再能提高速度，将会有消费实例不工作。

客户端缓存（Client side caching） Redis 客户端缓存在某些方面进行了重新设计。 可以执行Client相关的命令，开启客户端缓存。开启后，服务端后记住客户端连接查询的KEY。同时客户端需要订阅内部有主题， 如果一旦客户端查询的KEY发生变化，客户端会收到发生变化的信息。 由于客户端能感知到KEY的变化，因而客户端可以直接缓存KEY的值在本地内存上，而不需要担心KEY失效的问题。 多线程 IO（Threaded I/O）   Redis 6 引入多线程IO，但多线程部分只是用来处理网络数据的读写和协议解析，执行命令仍然是单线程。但带来了更加的整体性能。

消费端最常见的问题就是消费堆积，最常造成堆积的原因是： 消费速度跟不上生产速度，此时应该提高消费速度，详见下一节《提高消费速度》。 消费端产生了阻塞。 消费端拿到消息后，执行消费逻辑，通常会执行一些远程调用，如果这个时候同步等待结果，则有可能造成一直等待，消费进程无法向前推进。 消费端应该竭力避免堵塞消费线程，如果存在等待调用结果的情况，建议设置等待的超时时间，超时后作消费失败处理。

Kafka 是按分区一条一条消息顺序向前推进消费的，如果消费端拿到某条消息后执行消费逻辑失败，比如应用服务器出现了脏数据，导致某条消息处理失败，等待人工干预，那么有以下两种处理方式： 失败后一直尝试再次执行消费逻辑。这种方式有可能造成消费线程阻塞在当前消息，无法向前推进，造成消息堆积。 由于 Kafka 自身没有处理失败消息的设计，实践中通常会打印失败的消息、或者存储到某个服务（比如创建一个 Topic 专门用来放失败的消息），然后定时 check 失败消息的情况，分析失败原因，根据情况处理。

Kafka的消费机制是由客户端主动去服务端拉取消息进行消费的。因此，一般来说，如果客户端能够及时消费，则不会产生较大延迟。如果产生了较大延迟，请先关注是否有堆积，并注意提高消费速度。

项目 说明 测试实例规格 基础读写分离8G(2副本) 测试实例引擎版本 6.0 测试实例地域和可用区 上海36 可用区1 压测机器的规格 c7.2xlarge.2 16核 32G 压测机器的操作系统 CTyunOS 2.0.121.06.4 64位 压测机器地域和可用区 上海36 可用区1 压测机器网络 与Redis实例为相同VPC区，与Redis实例可通过VPC连接 压测工具 redisbenchmark 读写分离 关闭

项目 说明 测试实例规格 基础读写分离8G(2副本) 测试实例引擎版本 7.0 测试实例地域和可用区 上海36 可用区1 压测机器的规格 c7.2xlarge.2 16核 32G 压测机器的操作系统 CTyunOS 2.0.121.06.4 64位 压测机器地域和可用区 上海36 可用区1 压测机器网络 与Redis实例为相同VPC区，与Redis实例可通过VPC连接 压测工具 redisbenchmark 读写分离 关闭

性能指标 说明 QPS Query Per Second，表示每秒处理的请求数，单位是次/秒。 延迟 操作的平均延迟时间，单位为毫秒（ms）。 %延迟 比如99%操作延迟，指99%操作的最大延迟时间，单位为毫秒（ms）。例如该指标的值为15毫秒，表示99%的请求可以在15毫秒内被处理。

Kafka 消费者有两个相关参数： enable.auto.commit：默认值为 true。 auto.commit.interval.ms： 默认值为 1000，也即 1s。 这两个参数组合的结果就是，每次 poll 数据前会先检查上次提交位点的时间，如果距离当前时间已经超过参数auto.commit.interval.ms规定的时长，则客户端会启动位点提交动作。 因此，如果将enable.auto.commit设置为 true，则需要在每次 poll 数据时，确保前一次 poll 出来的数据已经消费完毕，否则可能导致位点跳跃。 如果想自己控制位点提交，请把 enable.auto.commit 设为 false，并调用 commit(offsets)函数自行控制位点提交。

实例规格 CPU类型 数据大小 连接数 QPS 平均延迟(ms) 95%延迟(ms) 99%延迟(ms) 基础Proxy集群双副本24G(3分片) X86 32 1000 507884 1.175 1.783 2.775 基础Proxy集群双副本24G(3分片) X86 32 3000 499463 3.150 4.863 6.687 基础Proxy集群双副本24G(3分片) X86 32 10000 476099 10.611 15.175 18.463 基础Proxy集群双副本24G(3分片) X86 1024 1000 478262 1.434 2.415 4.423 基础Proxy集群双副本24G(3分片) X86 1024 3000 487626 3.406 5.519 8.751 基础Proxy集群双副本24G(3分片) X86 1024 10000 438596 11.701 16.359 20.095 增强Proxy集群双副本24G(3分片) X86 32 1000 841928 1.121 2.167 3.175 增强Proxy集群双副本24G(3分片) X86 32 3000 955338 2.833 6.967 10.167 增强Proxy集群双副本24G(3分片) X86 32 10000 892498 7.719 23.119 34.175

一个 Consumer Group 可以订阅多个 Topic。一个 Topic 也可以被多个 Consumer Group 订阅，且各个 Consumer Group 独立消费 Topic 下的所有消息。 举例：Consumer Group A 订阅了 Topic A，Consumer Group B 也订阅了 Topic A，则发送到 Topic A 的每条消息，不仅会传一份给 Consumer Group A 的消费实例，也会传一份给 Consumer Group B 的消费实例，且这两个过程相互独立，相互没有任何影响。

测试环境说明 项目 说明 测试实例规格 基础Cluster版双副本24G(3分片)。 测试实例引擎版本 6.0。 测试实例地域和可用区 上海36 可用区1。 压测机器的规格 c7.4xlarge.2。 压测机器的操作系统 CTyunOS 2.0.121.06.4 64位。 压测机器地域和可用区 上海36 可用区1。 压测机器网络 与Redis实例为相同VPC区，与Redis实例可通过VPC连接。 压测工具 redisbenchmark。 测试命令 redisbenchmark h ${host} p ${port} cluster a ${password} c ${connectionnum} n 20000000 d 32 r 2000000 t set,get threads 8 说明 参数说明，根据具体情况替换： ${host}: Redis连接地址 ， ${port}：Redis服务端口， ${password} : 密码 ， ${connectionnum}： 连接数。 测试结果 以下测试结果仅供参考，不同的机器环境和网络波动等客观条件可能产生性能差异。 性能指标说明： 性能指标 说明 QPS Query Per Second，表示每秒处理的请求数，单位是次/秒。 延迟 操作的平均延迟时间，单位为毫秒（ms）。 %延迟 比如99%操作延迟，指99%操作的最大延迟时间，单位为毫秒（ms）。例如该指标的值为15毫秒，表示99%的请求可以在15毫秒内被处理。 表1 SET 命令的测试结果 实例规格 CPU类型 连接数 QPS 平均延迟(ms) 95%延迟(ms) 99%延迟(ms) 基础Cluster版双副本24G(3分片) X86 1000 420300.53 2.299 3.159 3.687 基础Cluster版双副本24G(3分片) X86 3000 426721.28 6.760 9.415 12.143 基础Cluster版双副本24G(3分片) X86 10000 358937.53 25.451 39.487 211.583 增强Cluster版双副本24G(3分片) X86 1000 638814.38 1.347 1.855 2.279 增强Cluster版双副本24G(3分片) X86 3000 637999.25 4.053 6.167 7.535 增强Cluster版双副本24G(3分片) X86 10000 571037.06 14.612 23.407 26.831 表2 GET 命令的测试结果 实例规格 CPU类型 连接数 QPS 平均延迟(ms) 95%延迟(ms) 99%延迟(ms) 基础Cluster版双副本24G(3分片) X86 1000 456173.19 2.107 2.47 2.879 基础Cluster版双副本24G(3分片) X86 3000 445950.78 6.493 7.343 209.535 基础Cluster版双副本24G(3分片) X86 10000 402909.00 24.075 35.007 238.719 增强Cluster版双副本24G(3分片) X86 1000 746212.94 1.162 1.671 2.399 增强Cluster版双副本24G(3分片) X86 3000 738525.19 3.367 4.855 6.439 增强Cluster版双副本24G(3分片) X86 10000 652209.31 11.310 16.975 209.279

Kafka的消费者示例代码片段如下： 每个 Consumer Group 可以包含多个消费实例，即可以启动多个 Kafka Consumer，并把参数 group.id 设置成相同的值。属于同一个 Consumer Group 的消费实例会负载消费订阅的 Topic。 举例：Consumer Group A 订阅了 Topic A，并开启三个消费实例 C1、C2、C3，则发送到 Topic A 的每条消息最终只会传给 C1、C2、C3 的某一个。Kafka 默认会均匀地把消息传给各个消息实例，以做到消费负载均衡。 Kafka 负载消费的内部原理是，把订阅的 Topic 的分区，平均分配给各个消费实例。因此，消费实例的个数不要大于分区的数量，否则会有实例分配不到任何分区而处于空跑状态。这个负载均衡发生的时间，除了第一次启动上线之外，后续消费实例发生重启、增加、减少等变更时，都会触发一次负载均衡。 消息队列 Kafka 的每个 Topic 的分区数量默认是 16 个，已经足够满足大部分场景的需求，且云上服务会根据容量调整分区数。

消费消息 发送以下命令消费消息。 go run modvendor consumer/consumer.go 消费消息示例代码如下： package main import ( "encoding/json" "fmt" "github.com/confluentinc/confluentkafkago/kafka" "os" "path/filepath" ) type KafkaConfig struct { Topic string json:"topic" Topic2 string json:"topic2" GroupId string json:"group.id" BootstrapServers string json:"bootstrap.servers" SecurityProtocol string json:"security.protocol" } // config should be a pointer to structure, if not, panic func loadJsonConfig() KafkaConfig { workPath, err : os.Getwd() if err ! nil { panic(err) } configPath : filepath.Join(workPath, "conf") fullPath : filepath.Join(configPath, "kafka.json") file, err : os.Open(fullPath); if (err ! nil) { msg : fmt.Sprintf("Can not load config at %s. Error: %v", fullPath, err) panic(msg) } defer file.Close() decoder : json.NewDecoder(file) var config &KafkaConfig{} err decoder.Decode(config); if (err ! nil) { msg : fmt.Sprintf("Decode json fail for config file at %s. Error: %v", fullPath, err) panic(msg) } json.Marshal(config) return config } func doInitConsumer(cfg KafkaConfig) kafka.Consumer { fmt.Print("init kafka consumer, it may take a few seconds to init the connectionn") //common arguments var kafkaconf &kafka.ConfigMap{ "api.version.request": "true", "auto.offset.reset": "latest", "heartbeat.interval.ms": 3000, "session.timeout.ms": 30000, "max.poll.interval.ms": 120000, "fetch.max.bytes": 1024000, "max.partition.fetch.bytes": 256000} kafkaconf.SetKey("bootstrap.servers", cfg.BootstrapServers); kafkaconf.SetKey("group.id", cfg.GroupId) switch cfg.SecurityProtocol { case "PLAINTEXT" : kafkaconf.SetKey("security.protocol", "plaintext"); case "SSL": kafkaconf.SetKey("security.protocol", "ssl"); kafkaconf.SetKey("ssl.ca.location", "/XXX/caRoot.pem") case "SASLSSL": kafkaconf.SetKey("security.protocol", "saslssl"); kafkaconf.SetKey("ssl.ca.location", "/XXX/caRoot.pem"); kafkaconf.SetKey("sasl.username", cfg.SaslUsername); kafkaconf.SetKey("sasl.password", cfg.SaslPassword); kafkaconf.SetKey("sasl.mechanism", cfg.SaslMechanism) case "SASLPLAINTEXT": kafkaconf.SetKey("security.protocol", "saslplaintext"); kafkaconf.SetKey("sasl.username", cfg.SaslUsername); kafkaconf.SetKey("sasl.password", cfg.SaslPassword); kafkaconf.SetKey("sasl.mechanism", cfg.SaslMechanism) default: panic(kafka.NewError(kafka.ErrUnknownProtocol, "unknown protocol", true)) } consumer, err : kafka.NewConsumer(kafkaconf) if err ! nil { panic(err) } fmt.Print("init kafka consumer successn") return consumer; } func main() { // Choose the correct protocol cfg : loadJsonConfig(); consumer : doInitConsumer(cfg) consumer.SubscribeTopics([]string{cfg.Topic, cfg.Topic2}, nil) for { msg, err : consumer.ReadMessage(1) if err nil { fmt.Printf("Message on %s: %sn", msg.TopicPartition, string(msg.Value)) } else { // The client will //automatically try to recover from all errors. fmt.Printf("Consumer error: %v (%v)n", err, msg) } } consumer.Close() }

场景 说明 网络故障或连接中断 网络连接中断或不稳定，导致无法正常与 Redis 服务器通信 故障触发了主从切换 因Redis底层硬件或其他原因导致主节点故障后，会触发主从切换，保障实例仍可用，主从切换会有以下影响：秒级的连接闪断最多30秒的只读 Redis 服务器负载过高 Redis 服务器负载过高，无法及时响应请求 Redis 命令执行失败 Redis 命令执行失败，可能由于写入冲突或 Redis 服务器资源耗尽等原因导致 慢查询引起了请求堵塞 执行时间复杂度为O(N)的操作，引发慢查询和请求的堵塞，此时，客户端发起的其他请求可能出现暂时性失败。 Redis 服务器重启或升级 Redis 服务器进行重启或升级，期间无法正常处理请求 Redis 配置错误 Redis 配置错误或使用了不兼容的命令，导致操作失败

对实例的一些操作，如实例开通、扩容等，会启动一个后台任务，您可以在Redis管理控制台的任务中心页面，查看该任务的状态等信息，同时支持删除任务信息。 操作步骤 1. 登录 Redis管理控制台。 2. 在管理控制台左上角选择实例所在的区域。 3. 左边菜单点击任务中心，进入任务中心页面。 4. 通过筛选时间、任务类型、实例ID等可查询任务信息。 5. 点击删除可删除任务信息。

Redis数据迁移完成后（即迁移结束），可以通过redisfullcheck工具检查源Redis与目标Redis的数据一致性（源Redis数据为目标Redis数据的子集，即表示数据一致）。 前提条件 数据迁移已完成（即迁移结束）。 准备工作 开通一台ECS云主机，要求能在ECS上访问通源和目标Redis实例。 下载redisfullcheck执行文件（建议：1.4.8版本，示例：redisfullcheck1.4.8.tar.gz），用以接下来校验源和目标Redis数据。 操作步骤 1. 登录ECS云主机，进入redisfullcheck解压目录。 2. 解压redisfullcheck1.4.8.tar.gz（tar xvf redisfullcheck1.4.8.tar.gz），解压后的redisfullcheck即为可执行文件。 3. 命令说明： 参考命令： ./redisfullcheck s {源Redis连接地址} p {源Redis密码} t {目标Redis连接地址} a {目标Redis密码} 实际执行： ./redisfullcheck s sourceaddress p sourcepassword t targetadress a targetpassword 说明：源/目标连接地址为集群时，多个连接地址以英文分号（;）分隔 4. 命令参数（可选）说明： 选项 说明 示例 s 或者 source 源Redis连接地址，如果是集群时，多个地址间以英文分号（;）分隔。 s sourceaddress1;sourceaddress2 p 或者 sourcepassword 源Redis连接密码（不支持指定username）。 p password sourcedbtype 源Redis架构系列；0：标准主备/单机（默认），1：集群，2: aliyun proxy, 3: tencent proxy。 sourcedbtype 0 sourcedbfilterlist 源Redis需要对比的db，1：表示对比所有db（默认），db1;db2：表示对比db1和db2。 sourcedbfilterlist 0;1 t 或者 target 目标Redis连接地址，如果是集群时，多个地址间以英文分号（;）分隔。 t targetaddress1;targetaddress2 a 或者 targetpassword 目标Redis连接密码（不支持指定username）。 a password targetdbtype 目标Redis架构系列；0：标准主备/单机（默认），1：集群，2: aliyun proxy, 3: tencent proxy。 targetdbtype 0 targetdbfilterlist 目标Redis需要对比的db，1：表示对比所有db（默认），db1;db2：表示对比db1和db2。 targetdbfilterlist 1 comparetimes 对比轮数，默认：3，最小：1。 comparetimes 3 m 或者 comparemode 校验模式，1：全量比较，2：只对比value的长度（默认），3：只校验key是否存在，4：全量比较，但是忽略大key的比较。 m 2 q 或者 qps 最大的qps限制（默认：15000）。 q 15000 interval 相邻两轮校验的间隔时间（秒）（默认：5）。 interval 5 loglevel 日志级别，'debug', 'info', 'warn', 'error'（默认：info）。 loglevel info f 或者 filterlist 需要比较的key列表，以竖线分割。 f abc v 或者 version 输出redisfullcheck版本。 v 5. 运行结果 出现以下字样时，表示校验完成。 all finish successfully, …… 校验明细。 sqlite3 result.db.3（3表示对比轮数） select from key; select from field; 说明：表key，field记录了数据冲突情况

批量修改权限 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入应用用户管理页面。 （5）点击“导入用户”右侧的下拉倒三角的“批量修改权限”后，出现如下上传文件界面，文件格式件批量下载说明。 （6）点击“上传”完成批量创建。 模板如下。 表：参数说明。 参数 说明 :: type (produce/consume) 权限类型，produce或者consume username 用户名 topicName topic名称

参数 说明 权限 ACL 策略的操作权限分为两类：允许和拒绝。 若只设置允许规则，则除允许的规则外的其他IP或网段都无法连接实例。 若只设置拒绝规则，则除拒绝的规则外的其他IP或网段需要设置了允许规则后才可以连接实例。 若同时设置允许规则和拒绝规则，则只有允许规则中的IP或网段可以连接实例，其他IP或网段都无法连接实例。 用户 选择需要设置权限的用户。 IP或网段 填写需要设置权限的 IP 或网段，用 ; 隔开，若 IP 为空，则默认为全部 IP 添加权限。 操作 选择策略生效的动作，即向 Topic 生产或消费消息。 自动应用后续所有新增topic 开启后，后续页面上创建的Topic会自动关联此规则，多个策略只允许一条策略开启。

迁移后验证 迁移完成后，请使用Rediscli连接源Redis和目标Redis，验证数据的完整性。 查看非cluster原生集群版 数据情况 ./rediscli h $host p $port a $psw dbsize 查看cluster原生集群版 数据情况 ./rediscli a $psw cluster call $host:$port dbsize 说明 如果无增量同步，则迁移过程中源Redis写操作不会同步到目标Redis。

可选方式 天翼云缓存实例目前支持[实例克隆] 与[从对象存储导入]两种方式，离线迁移数据至目标实例： 1. 如果源实例与目标实例处于同VPC同子网时，离线迁移请参考：[实例克隆] 2. 如果源实例与目标实例不处于同VPC同子网时，离线迁移请参考：[从对象存储导入] 约束 1. 如果源库或者目标库开启了SSL功能，可能会导致迁移或者迁移发起失败，迁移前请检查SSL是否处于关闭状态 2. 如果目标库实例没有足够的内存空间存储备份文件数据，可能导致离线迁移失 3. 目标实例的内核版本需不低于源库实例的内核版本，否则可能因为内核兼容性问题而导致迁移或者迁移发起失败 4. 备份文件需未进行加密 以下将分别按照 [实例克隆] 与 [从对象存储导入]两类离线迁移方式进行介绍 实例克隆 1. 前提条件 源Redis实例已执行数据备份并备份成功。 2. 操作 实例克隆 从对象存储导入 1. 前提条件 开通天翼云对象存储，对象存储所在资源池需与目标实例所在资源池相同 源Redis实例已执行数据备份并备份成功 下载备份文件至本地，然后从本地上传备份文件至对象存储（如果源实例和对象存储处于同一资源池，可以直接备份数据至对象存储中，无需进行显示上传）

迁移场景 工具 方案 迁移说明 自建Redis迁移至DCS DCS控制台数据迁移功能 使用在线迁移自建Redis 不同Region，可开通 云间高速 ，打通网络 同Region不同VPC，可开通 对等连接 ，打通网络 自建Redis迁移至DCS Rediscli 使用Rediscli迁移自建Redis（AOF文件） 自建Redis迁移至DCS Rediscli 使用Rediscli迁移自建Redis（RDB文件） 自建Redis迁移至DCS RedisShake 使用RedisShake工具迁移自建Redis Cluster集群 其他云厂商Redis服务迁移至DCS DCS控制台数据迁移功能 使用在线迁移其他云厂商Redis 其他云厂商Redis服务迁移至DCS RedisShake 使用RedisShake工具离线迁移其他云厂商Redis Cluster集群 DCS实例间迁移 DCS控制台数据迁移功能 低版本Redis迁移至高版本Redis实例。 如网络互通，建议使用在线迁移功能迁移Redis实例数据 如网络不通，建议打通网络后，再使用在线迁移功能迁移Redis实例数据 1、网络连通 不同Region，可开通 云间高速 ，打通网络 同Region不同VPC，可开通 对等连接 ，打通网络 2、高版本Redis迁移至低版本Redis实例 不建议，否则极易出现命令兼容问题，导致迁移中断 DCS实例间迁移 DCS控制台数据迁移功能 不同Region的Redis实例迁移，建议打通网络后，再使用在线迁移功能迁移Redis实例数据 1、网络连通 不同Region，可开通 云间高速 ，打通网络 同Region不同VPC，可开通 对等连接 ，打通网络 2、高版本Redis迁移至低版本Redis实例 不建议，否则极易出现命令兼容问题，导致迁移中断 DCS实例间迁移 DCS控制台数据迁移功能 不同账号的Redis实例迁移，建议使用在线迁移功能迁移Redis实例数据 1、网络连通 不同Region，可开通 云间高速 ，打通网络 同Region不同VPC，可开通 对等连接 ，打通网络 2、高版本Redis迁移至低版本Redis实例 不建议，否则极易出现命令兼容问题，导致迁移中断 DCS实例间迁移 DCS控制台数据迁移功能 同Region不同VPC下的Redis实例迁移，建议打通网络后，再使用在线迁移功能迁移Redis实例 1、网络连通 不同Region，可开通 云间高速 ，打通网络 同Region不同VPC，可开通 对等连接 ，打通网络 2、高版本Redis迁移至低版本Redis实例 不建议，否则极易出现命令兼容问题，导致迁移中断 DCS实例迁移下云 DCS控制台数据迁移功能 DCS实例迁移下云 建议打通网络后，使用线迁移功能进行数据迁移