部分云厂商的Redis实例禁止客户端发起SLAVEOF、BGSAVE、PSYNC等命令,无法使用redis-cli、或redis-shake等工具快速导出数据。
使用KEYS命令容易造成服务端阻塞。
云厂商一般只提供备份文件下载,这种方式仅适宜离线迁移,且迁移过程对业务中断时间较长。
Rump是一款开源的Redis数据在线迁移工具,支持在同一个实例的不同数据库之间互相迁移,以及不同实例的数据库之间迁移。
迁移原理
Rump使用SCAN来获取keys,用DUMP/RESTORE来get/set值。
SCAN是一个时间复杂度O(1) 的命令,可以快速获得所有的key。DUMP/RESTORE使读/写值独立于关键工作。
以下是Rump的主要特性:
通过SCAN非阻塞的获取key,避免KEYS命令造成Redis服务阻塞。
支持所有数据类型的迁移。
把SCAN和DUMP/RESTORE操作放在同一个管道中,利用pipeline提升数据迁移过程中的网络效率。
不使用任何临时文件,不占用磁盘空间。
使用带缓冲区的channels,提升源服务器的性能。
约束与限制
使用Rump工具在线迁移,目标端不支持DCS集群类型实例。
Redis实例的密码不能包含#@:等特殊字符,避免迁移命令解析出错。
正式进行迁移操作前,建议先暂停业务。迁移过程中如果不断写入新的数据,可能会丢失少量Key。
前提条件
如果您还没有目标Redis,请先创建目标Redis,具体操作请参考创建实例。
如果您已有目标Redis,则不需要重复创建,为了对比迁移前后数据及预留足够的内存空间,建议在数据迁移之前清空目标实例数据,清空操作请参考清空实例数据。如果没有清空实例数据,数据迁移后,目标Redis与源Redis实例重复的数据迁移后会被覆盖,源Redis没有、目标Redis有的数据会保留。
已创建弹性云主机ECS。
ECS请选择与DCS Cluster集群实例相同虚拟私有云、子网和安全组,并且需要绑定弹性公网IP。
安装Rump
登录弹性云主机。
下载Rump的release版本。
以64位Linux操作系统为例,执行以下命令:
wget https://github.com/stickermule/rump/releases/download/0.0.3/rump-0.0.3-linux-amd64;
3.解压缩后,添加可执行权限。
mv rump-0.0.3-linux-amd64 rump;
chmod +x rump;
迁移数据
执行如下命令迁移数据:
rump -from { source_redis_address } -to { target_redis_address }
参数/选项说明:
{source_redis_address}
源Redis实例地址,格式为:redis://[user:password@]host:port/db,中括号部分为可选项,实例设置了密码访问时需要填写密码,格式遵循RFC 3986规范。注意用户名可为空,但冒号不能省略,例如redis://:mypassword@192.168.0.45:6379/1。
db为数据库编号,不传则默认为0。
{ target_redis_address }
目标Redis实例地址,格式与from相同。
以下示例表示将本地Redis数据库的第0个DB的数据迁移到192.168.0.153这台Redis数据库中,其中密码以*替代显示。
[root@ecs ~]# ./rump -from redis://127.0.0.1:6379/0 -to redis://:******@192.168.0.153:6379/0
.Sync done.
[root@ecs ~]#