通过管道传输快速将MySQL的数据导入Redis(自己做过测试)

╰+哭是因爲堅強的太久メ 2023-10-18 09:48 12阅读 0赞

## [通过管道传输快速将MySQL的数据导入Redis][MySQL_Redis] ##

通过管道传输pipe将MySQL数据批量导入Redis  
自Redis 2.6以上版本起，Redis支持快速大批量导入数据，即官网的[Redis Mass Insertion][],即Pipe传输，

通过将要导入的命令转换为Resp格式，然后通过MySQL的concat()来整理出最终导入的命令集合，以达到快速导入的目的。

### 1. 根据需求设计好Redis的hash结构，关键是Key的设计 ###

Redis其实就是内存数据库，而其中最常用的就是hash结构，key-value，查询时需要使用到key，所以key的设计决定了查询的效率，

而你的需求则决定了你的key如何设计，这里推荐一个例子：[浅谈REDIS数据库的键值设计][REDIS]

建表语句：

![复制代码][copycode.gif]

create database  if not exists `test`;
    use `test`;
    CREATE TABLE `person` (
      `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
      `name` varchar(200) NOT NULL,
      `age` varchar(200) NOT NULL,
      PRIMARY KEY (`id`)
    ) ENGINE=MyISAM AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

![复制代码][copycode.gif]

key的一般定义格式为： **表名:主键值:列名** 不是硬性要求

所以我们这里的key设置为 person:id

### 2.确定使用的Redis命令 ###

这里使用的是HMSET命令，格式如下：

HMSET myhash field1 "Hello" field2 "World"

**3. 最终处理的结果如下：**

特别注意：因为RESP协议中的分隔符为在Linux下是**\\r\\n**，而在Windows下则为**\\n**

Linux下的命令为：

按 Ctrl+C 复制代码

Windows下的命令为：

![复制代码][copycode.gif]

SELECT CONCAT(
       "*8\n",
       '$',LENGTH(redis_cmd),'\n',redis_cmd,'\n',
       '$',LENGTH(redis_key),'\n',redis_key,'\n',
       '$',LENGTH(hkey1),'\n',hkey1,'\n','$',LENGTH(hval1),'\n',hval1,'\n',
       '$',LENGTH(hkey2),'\n',hkey2,'\n','$',LENGTH(hval2),'\n',hval2,'\n',
       '$',LENGTH(hkey3),'\n',hkey3,'\n','$',LENGTH(hval3),'\n',hval3
    )FROM(
       SELECT 'HMSET' AS redis_cmd,
       concat_ws(':','person', id) AS redis_key,
       'id' AS hkey1, id AS hval1,
       'name' AS hkey2, name AS hval2,
       'age' AS hkey3, age AS hval3
       From person
    )AS t

![复制代码][copycode.gif]

命令解释：

![578448-20161112164720483-424373993.png][]

最终的命令由两部分组成，红色框是将MySQL的数据select出来，为了方便都是用了别名(细心的你会发现，这些别名在紫色框中被引用)，

紫色框引用了select出来的数据，然后转换成符合[RESP协议][RESP]格式：

第一行的 \*8\\r\\n : \*表示数组，8表示数组元素个数， \\r\\n是规定分隔符

第二行的 '$',LENGTH(redis\_cmd),'\\r\\n',redis\_cmd,'\\r\\n', : $表示长字符串，LENGTH(redis\_cmd)表示字符串长度，redis\_cmd字符串变量，\\r\\n还是规定字符串

通过数数，发现这样的长字符串有8个，都是外面数组的元素

所以，这一堆很难懂的东西表示，一个包含8个字符串的数组的一个Redis命令，

内容如下：

\*8\\r\\n$5\\r\\nHMSET\\r\\n$8\\r\\nperson:1\\r\\n$2\\r\\nid\\r\\n$1\\r\\n1\\r\\n$4\\r\\nname\\r\\n$5\\r\\nTommy\\r\\n$3\\r\\nage\\r\\n$2\\r\\n18

**特别特别注意**：

1、根据RESP协议，长字符串(bulk Strings)的格式要求是$字符长度\\r\\n字符串\\r\\n的，但是从上面命令的最后一行可以看到，

在Linux下，最后变成了\\r,而在Windows下就直接什么都没有了。

2、上图中箭头指向处，'\\r\\n'后面这个逗号，可以可无，如果没有逗号，一定要空一格空格，否则出错。

3. person.sql里面是mysql语句，不是[RESP协议][RESP]格式的redis语句。

## 4.运行命令，进行数据导入 ##

将第三步的命令保存到文件中，这里是person.sql

mysql **-u**root **-p**password **-D**dbname --default-character-set=utf8 --skip-column-names --raw < person.sql | **redis-cli** \--pipe

或：

mysql **-u**root **-p**password dbname --default-character-set=utf8 --skip-column-names --raw < person.sql | **redis-cli** \--pipe

其中：

\-u 是数据库用户名 -p 是数据库密码 -D 指定数据库，也可以直接输入数据库名字

\--default-character-set=utf8 使用utf8作为默认编码

--raw 使mysql不转换字段值中的换行符  
\--skip-column-names 使mysql输出的每行中不包含列名

| 管道符号(意思是将该符号左边的运算结果提交给右边的命令处理，这里是先通过MySQL到处数据，然后用redis-cli导入到Redis)

redis-cli 是调用Redis的客户端命令 --pipe 使用管道传输

**执行命令后，如果出现类似以下提示，这说明导入正确：**

All data transferred. Waiting for the last reply...

Last reply received from server.

errors: 0, replies: 2

![578448-20161112172828249-1080796847.png][]

可以打开 Redis-cli 输入**dbsize**或者**keys \***命令来进行查询。

## 5. 错误异常处理 ##

#### 5.1. ERR Protocol error: expected '$', got ' ' ####

如果执行命令时，出现 ERR Protocol error: expected '$', got ' ' , 先判断你的操作系统，

如果是在Windows下使用了\\r\\n作为分隔符就会如此，应改成\\n。

#### 5.2. ERR Protocol error: expected '$', got '1' 就是got后面的内容不为空 ' ' ####

看起来与5.1的错误提示极为相似，但这个一般是数据库中有特殊符号所导致的的，

所以在命令中加上 --default-character-set=utf8 即可

参考：[http://baijian.github.io/2013/10/12/import-data-from-mysql-to-redis.html][http_baijian.github.io_2013_10_12_import-data-from-mysql-to-redis.html]

来源:[https://www.cnblogs.com/tommy-huang/p/4703514.html][MySQL_Redis]

[MySQL_Redis]: https://www.cnblogs.com/tommy-huang/p/4703514.html
[Redis Mass Insertion]: http://redis.io/topics/mass-insert
[REDIS]: http://www.hoterran.info/redis_kv_design
[copycode.gif]: https://common.cnblogs.com/images/copycode.gif
[578448-20161112164720483-424373993.png]: https://images2015.cnblogs.com/blog/578448/201611/578448-20161112164720483-424373993.png
[RESP]: http://www.cnblogs.com/tommy-huang/p/6051577.html
[578448-20161112172828249-1080796847.png]: https://images2015.cnblogs.com/blog/578448/201611/578448-20161112172828249-1080796847.png
[http_baijian.github.io_2013_10_12_import-data-from-mysql-to-redis.html]: http://baijian.github.io/2013/10/12/import-data-from-mysql-to-redis.html