使用Redisshake工具在线迁移其他云厂商Redis(1) 本节主要介绍使用Redisshake工具在线全量迁移其他云厂商Redis Redisshake是一款开源的Redis迁移工具,在Rump模式下,Redisshake可以以scan的方式从源端Redis获取全量数据,写入到目的端,实现数据迁移。这种迁移方式不依赖于SYNC和PSYNC,可以广泛应用于自建Redis、云Redis之间的迁移。 本文将介绍如何利用Redisshake的Rump模式,以在线全量的迁移方式,一次性将其他云厂商Redis迁移至DCS中。 本方案数据流向示意图 前提条件 已在目标端云服务创建Redis实例。 已在目标端云服务创建用于运行Redisshake的弹性云主机(ECS)。 创建的ECS需要选择与Redis实例相同的VPC,并且需要绑定弹性公网IP。 Rump模式不支持增量数据迁移,建议您先停止源端Redis的写入再进行迁移,防止数据不一致。 该方案配置只支持同DB映射迁移,异DB映射迁移该方案配置不适用。 源端为多DB使用(有非DB0的DB使用),DCS为Proxy集群时,DCS需要开启多DB模式,否则会迁移失败(单DB0的Proxy集群不支持select命令)。 源端为多DB使用(有非DB0的DB使用),DCS为Cluster集群时,该方案不支持(DCS Cluster集群只支持DB0模式)。 操作步骤 步骤 1 分别在ECS和源端转发服务器上安装Nginx,本文以ECS操作系统为Centos7.x为例进行安装,不同操作系统命令稍有不同。 1. 执行以下命令,添加Nginx到yum源。 sudo rpm Uvh 2. 添加完之后,执行以下命令,查看是否已经添加成功。 yum search nginx 3. 添加成功之后,执行以下命令,安装Nginx。 sudo yum install y nginx 4. 执行以下命令安装stream模块。 yum install nginxmodstream skipbroken 5. 启动Nginx并设置为开机自动运行。 sudo systemctl start nginx.service sudo systemctl enable nginx.service 6. 在本地浏览器中输入服务器地址(ECS公网IP地址),查看安装是否成功。 如果出现下面页面,则表示安装成功。 步骤 2 在源端Redis添加源端转发服务器的白名单。 步骤 3 在源端转发服务器配置安全组。 1. 获取ECS的公网IP地址。 2. 配置源端转发服务器安全组入方向,添加ECS的公网IP地址,并放开来自ECS访问请求的端口(以6379为例)。 步骤 4 配置源端转发服务器的Nginx转发配置。 1. 登录Linux源端转发服务器,执行命令打开并修改配置文件。 cd /etc/nginx vi nginx.conf 2. 转发配置示例如下: stream { server { listen 6379; proxypass {sourceinstanceaddress}:{port}; } } 其中,6379为源端转发服务器本机监听端口,{sourceinstanceaddress}和{port}为源端Redis实例的连接地址和端口。 配置目的:通过访问源端转发服务器本机监听端口6379,访问源端Redis。 注意:以上配置必须配置在如下图所示的位置。 配置位置要求 3. 重启Nginx服务。 service nginx restart 4. 验证启动是否成功。 netstat angrep 6379 端口在监听状态,Nginx启动成功。 验证结果 步骤 5 配置ECS的Nginx转发配置。 1. 登录LinuxECS,执行命令打开并修改配置文件。 cd /etc/nginx vi nginx.conf 2. 配置示例如下: stream { server { listen 6666; proxypass {sourceecsaddress}:6379; } } 其中,6666为ECS本机监听端口,{sourceecsaddress}为源端转发服务器公网IP地址,6379为源端转发服务器Nginx的监听端口。 配置目的:通过访问ECS本机监听端口6666,访问源端转发服务器。 注意:以上配置必须配置在如下图所示的位置。 配置位置要求 3. 重启Nginx服务。 service nginx restart 4. 验证启动是否成功。 netstat angrep 6666 端口在监听状态,Nginx启动成功。 验证结果 步骤 6 在ECS执行以下命令测试6666端口的网络连接。 rediscli h {targetecsaddress} p 6666 a {password} 其中,{targetecsaddress}为ECS公网IP地址,6666为ECS监听端口,{password}为源端Redis密码,如无密码可不填。 连接示例 步骤 7 准备迁移工具Redisshake。 1. 登录ECS。 2. 在ECS中执行以下命令下载Redisshake,本文以下载2.0.3版本为例进行说明。您可以根据实际需要下载其他RedisShake版本。 wget 3. 执行命令解压Redisshake文件。 tar xvf redisshakev2.0.3.tar.gz 步骤 7 配置Redisshake的配置文件。 1. 执行命令进入解压后的目录。 cd redisshakev2.0.3 2. 修改配置文件redisshake.conf。 vim redisshake.conf 修改源端Redis信息配置: − source.type 源端redis实例类型,单机、主备、proxy集群实例都选择standalone,cluster实例选择cluster。 − source.address ECS公网IP地址和映射源端转发服务器的端口(ECS监听端口 6666) ,用英文冒号隔开。 − source.passwordraw 源端待迁移Redis实例的密码,如未设置密码,无需填写。 修改目标端DCS信息配置: − target.type Redis实例类型,单机、主备、proxy集群实例都选择standalone,cluster实例选择cluster。 − target.address Redis实例的连接地址和端口,用英文冒号隔开。 − target.passwordraw Redis实例的密码,如未设置密码,无需填写。 3. 按下Esc键退出编辑模式,输入 :wq! 按回车键保存配置并退出编辑界面。 步骤 9 执行命令启动Redisshake并使用rump(在线全量)模式开始数据迁移。 ./redisshake.linux conf redisshake.conf type rump 迁移过程 迁移结果 步骤 10 迁移完成后,请使用rediscli工具连接源Redis和目标Redis,确认数据的完整性。 1. 分别连接源Redis和目标Redis。 连接操作请参考使用rediscli连接Redis实例。 2. 输入 info keyspace ,查看keys参数和expires参数的值。 3. 对比源Redis和目标Redis的keys参数分别减去expires参数的差值。如果差值一致,表示数据完整,迁移正常。 步骤 11 删除Redisshake配置文件。
来自: