這篇文章主要介紹了從MySQL到Redis的簡(jiǎn)單數(shù)據(jù)庫(kù)遷移方法,注意Redis數(shù)據(jù)庫(kù)基于內(nèi)存,并不能代替?zhèn)鹘y(tǒng)數(shù)據(jù)庫(kù),需要的朋友可以參考下

從mysql搬一個(gè)大表到redis中，你會(huì)發(fā)現(xiàn)在提取、轉(zhuǎn)換或是載入一行數(shù)據(jù)時(shí)，速度慢的讓你難以忍受。這里我就要告訴一個(gè)讓你解脫的小技巧。使用“管道輸出”的方式把mysql命令行產(chǎn)生的內(nèi)容直接傳遞給redis-cli，以繞過(guò)“中間件”的方式使兩者在進(jìn)行數(shù)據(jù)操作時(shí)達(dá)到最佳速度。

一個(gè)約八百萬(wàn)行數(shù)據(jù)的mysql表，原本導(dǎo)入到redis中需要90分鐘，使用這個(gè)方法后，只需要兩分鐘。不管你信不信，反正我是信了。

Mysql到Redis的數(shù)據(jù)協(xié)議

redis-cli命令行工具有一個(gè)批量插入模式，是專門為批量執(zhí)行命令設(shè)計(jì)的。這第一步就是把Mysql查詢的內(nèi)容格式化成redis-cli可用的數(shù)據(jù)格式。here we go!

我的統(tǒng)計(jì)表：

1. CREATE TABLE events_all_time ( 
2. id int(11) unsigned NOT NULL AUTO_INCREMENT, 
3. action varchar(255) NOT NULL, 
4. count int(11) NOT NULL DEFAULT 0, 
5. PRIMARY KEY (id), 
6. UNIQUE KEY uniq_action (action) 
7. ); 

準(zhǔn)備在每行數(shù)據(jù)中執(zhí)行的redis命令如下：

HSET events_all_time [action] [count]

按照以上redis命令規(guī)則，創(chuàng)建一個(gè)events_to_redis.sql文件，內(nèi)容是用來(lái)生成redis數(shù)據(jù)協(xié)議格式的SQL：

-- events_to_redis.sql

1. SELECT CONCAT( 
2. "*4/r/n", 
3. ' 
4. ok, 用下面的命令執(zhí)行： 
5.  
6. ? 
7.  
8. 1 
9.  
10. mysql stats_db --skip-column-names --raw < events_to_redis.sql | redis-cli --pipe 
11.  
12.  
13. 很重要的mysql參數(shù)說(shuō)明： 
14.  
15. --raw: 使mysql不轉(zhuǎn)換字段值中的換行符。 
16.  
17. --skip-column-names: 使mysql輸出的每行中不包含列名。 
18.  
19. , LENGTH(redis_cmd), '/r/n', 
20.  
21.  
22. redis_cmd, '/r/n', 
23. ' 
24. ok, 用下面的命令執(zhí)行： 
25.  
26. ? 
27.  
28. #FormatTableID_2# 
29. 很重要的mysql參數(shù)說(shuō)明： 
30.  
31. --raw: 使mysql不轉(zhuǎn)換字段值中的換行符。 
32.  
33. --skip-column-names: 使mysql輸出的每行中不包含列名。 
34.  
35. , LENGTH(redis_key), '/r/n', 
36.  
37.  
38. redis_key, '/r/n', 
39. ' 
40. ok, 用下面的命令執(zhí)行： 
41.  
42. ? 
43.  
44. #FormatTableID_2# 
45. 很重要的mysql參數(shù)說(shuō)明： 
46.  
47. --raw: 使mysql不轉(zhuǎn)換字段值中的換行符。 
48.  
49. --skip-column-names: 使mysql輸出的每行中不包含列名。 
50.  
51. , LENGTH(hkey), '/r/n', 
52.  
53.  
54. hkey, '/r/n', 
55. ' 
56. ok, 用下面的命令執(zhí)行： 
57.  
58. ? 
59.  
60. #FormatTableID_2# 
61. 很重要的mysql參數(shù)說(shuō)明： 
62.  
63. --raw: 使mysql不轉(zhuǎn)換字段值中的換行符。 
64.  
65. --skip-column-names: 使mysql輸出的每行中不包含列名。 
66.  
67. , LENGTH(hval), '/r/n', 
68.  
69.  
70. hval, '/r' 
71. ) 
72. FROM ( 
73. SELECT 
74. 'HSET' as redis_cmd, 
75. 'events_all_time' AS redis_key, 
76. action AS hkey, 
77. count AS hval 
78. FROM events_all_time 
79. ) AS t 

ok, 用下面的命令執(zhí)行：

1. #FormatTableID_2# 

很重要的mysql參數(shù)說(shuō)明：

--raw: 使mysql不轉(zhuǎn)換字段值中的換行符。

--skip-column-names: 使mysql輸出的每行中不包含列名。