元数据迁移 本文介绍如何在分布式消息服务Kafka控制台创建元数据导入任务,将元数据迁移至分布式消息服务Kafka现有实例。 前提条件 下载JDK8 购买并部署分布式消息服务Kafka实例 背景信息 Kafka集群元数据是指Kafka集群的Topic和Group配置信息。Kafka集群元数据存储于ZooKeeper上,Kafka集群各个节点从ZooKeeper中获取最新的元数据。因此,集群的各个节点的元数据被导出时都是最新且相同的。Kafka集群元数据可以被导出成一份JSON文件,然后被导入到另一个Kafka集群,实现自建Kafka集群元数据迁移上云。 元数据迁移是指将自建Kafka集群的元数据迁移到分布式消息服务Kafka实例。您可以将自建Kafka集群元数据导出,然后导入云分布式消息服务Kafka实例,分布式消息服务Kafka会解析成功导入的元数据,并支持在创建任务时可视化配置Topic和Group,配置完成后在目标实例中创建对应的Topic和Group,实现自建Kafka集群元数据迁移上云。 步骤一:导出元数据 使用元数据导出工具导出自建Kafka集群的元数据文件。 1.下载元数据导出工具,登陆分布式消息服务Kafka控制台>集群迁移>元数据迁移>创建任务>下载工具 下载对应jar包 2.将下载好的工具上传至能连接到Kafka集群的机器上 3.运行以下命令,导出元数据。运行命令后,您将在kafkamigration.jar 同级目录下看到 名为 metadata.json 的元数据文件。 java cp kafkamigration.jar com.ctg.migration.kafka.MigrationMetadata sourceKafkaConnect (resource topic,group username password mechanism configKey ) 参数 说明 示例 sourceKafkaConnect 自建Kafka集群的IP地址和端口号。 192.168.XX.XX:9092 resource 要导出的资源,可以是topic、 group或topic,group 默认topic,group topic,group username 连接kafka用户名,如果sourceKafkaConnect为免密接入点则无需填写 admin user password 连接kafka密码,如果sourceKafkaConnect为免密接入点则无需填写 real password mechanism 对应的协议,支持PLAIN、SCRAMSHA256、SCRAMSHA512,如果sourceKafkaConnect为免密接入点则无需填写 PLAIN configKey 源集群topic配置,支持多个key,多个用半角逗号分开,all:表示所有配置(不推荐),具体支持哪些配置可以通过(bin/kafkaconfigs.sh help)命令查看 默认值为:retention.ms retention.ms,max.message.bytes