传统命令的缺点

数据导入Redis热身

采用nc命令导入数据

采用pipe模式导入数据

由上图，可以看到pipe命令的返回结果，txt文件中有多少行命令，返回的replies数就是多少， errors表示其中执行错误的命令条数。

redis协议学习

协议的格式为：

*<参数数量>  \r\n

$<参数 
1 的字节数量>  \r\n

<参数 
1 的数据> \r\n

...

$<参数 N 的字节数量> \r\n

<参数 N 的数据> \r\n

HSET  id  book1  book_description1

*
4\r\n$
4\r\nHSET\r\n$
2\r\nid\r\n$
5\r\nbook1\r\n$
17\r\nbook_description1\r\n



格式化一下：



*
4\r\n

$
4\r\n

HSET\r\n

$
2\r\n

idvvvv\r\n

$
5\r\n

book1\r\n

$
17\r\n

book_description1\r\n

将输入数据源换成mysql

实际案例--从Mysql导入百万级数据到Redis

首先造数据

DELIMITER $$

USE `cb_mon`$$



DROP PROCEDURE IF EXISTS `test_insert`$$

CREATE DEFINER=`root`@`%` PROCEDURE `test_insert`()

BEGIN



        DECLARE i INT DEFAULT 
1;

        WHILE i<= 
1000000

            
DO

            INSERT INTO 
t_book
(id,number,NAME,descrition)

            
VALUES 
(i, CONCAT(
"00000",i) , 
CONCAT
(
'book',i)

            , 
CONCAT
(
'book_description',i));

            SET i=i+
1;

        END WHILE ;

        COMMIT;

    END$$



DELIMITER ;




调用存储过程

CALL test_insert();

按协议构造查询语句

SELECT

  
CONCAT
(

    
"*4\r\n",

    
"$",

    LENGTH(redis_cmd),

    "\r\n",

    redis_cmd,

    "\r\n",

    "$",

    
LENGTH
(redis_key),

    "\r\n",

    redis_key,

    "\r\n",

    "$",

    
LENGTH
(hkey),

    "\r\n",

    hkey,

    "\r\n",

    "$",

    
LENGTH
(hval),

    "\r\n",

    hval,

    "\r"

  )


FROM

  
(SELECT

    
"HSET" AS redis_cmd,

    id AS redis_key,

    NAME AS hkey,

    descrition AS hval

  FROM

    cb_mon.t_book

  ) AS t limit 1000000

并将内容保存至redis.sql 文件中。

编写脚本使用pipe模式导入redis

编写shell脚本。由于我在主机上是通过docker安装的redis和mysql，以下脚本供参考：

#!/bin/bash

starttime=`date +
'%Y-%m-%d %H:%M:%S'`



docker exec -i 
899fe01d4dbc mysql --
default-character-set=utf8

--skip-column-names --raw < ./redis.sql

| docker exec -i 
4c90ef506acd redis-cli --pipe



endtime=`date +
'%Y-%m-%d %H:%M:%S'`

start_seconds=$(date --date=
"$starttime" +%s);

end_seconds=$(date --date=
"$endtime" +%s);



echo 
"脚本执行耗时："$((end_seconds-start_seconds))
"s"

lost connection to mysql server during query

总结