第五章常用Lua开发库1-redis、mysql、http客户端

矫情吗；* 2023-10-17 14:05 42阅读 0赞

对于开发来说需要有好的生态开发库来辅助我们快速开发，而Lua中也有大多数我们需要的第三方开发库如Redis、Memcached、Mysql、Http客户端、JSON、模板引擎等。

一些常见的Lua库可以在github上搜索，[https://github.com/search?utf8=%E2%9C%93&q=lua+resty][https_github.com_search_utf8_E2_9C_93_q_lua_resty]。

### Redis客户端 ###

lua-resty-redis是为基于cosocket API的ngx\_lua提供的Lua redis客户端，通过它可以完成Redis的操作。默认安装OpenResty时已经自带了该模块，使用文档可参考[https://github.com/openresty/lua-resty-redis][https_github.com_openresty_lua-resty-redis]。

在测试之前请启动Redis实例：

nohup /usr/servers/redis-2.8.19/src/redis-server /usr/servers/redis-2.8.19/redis\_6660.conf &

**1、基本操作**

编辑test\_redis\_baisc.lua

Java代码 ![收藏代码][icon_star.png]

1.  local function close\_redis(red) 
2.  if not red then 
3.  return
4.   end 
5.   local ok, err = red:close() 
6.  if not ok then 
7.   ngx.say("close redis error : ", err) 
8.   end 
9.  end 
10. 
11. local redis = require("resty.redis") 
12. 
13. \--创建实例 
14. local red = redis:new() 
15. \--设置超时（毫秒） 
16. red:set\_timeout(1000) 
17. \--建立连接 
18. local ip = "127.0.0.1"
19. local port = 6660
20. local ok, err = red:connect(ip, port) 
21. if not ok then 
22.  ngx.say("connect to redis error : ", err) 
23. return close\_redis(red) 
24. end 
25. \--调用API进行处理 
26. ok, err = red:set("msg", "hello world") 
27. if not ok then 
28.  ngx.say("set msg error : ", err) 
29. return close\_redis(red) 
30. end 
31. 
32. \--调用API获取数据 
33. local resp, err = red:get("msg") 
34. if not resp then 
35.  ngx.say("get msg error : ", err) 
36. return close\_redis(red) 
37. end 
38. \--得到的数据为空处理 
39. if resp == ngx.null then 
40.  resp = '' \--比如默认值 
41. end 
42. ngx.say("msg : ", resp) 
43. 
44. close\_redis(red)

基本逻辑很简单，要注意此处判断是否为nil，需要跟ngx.null比较。

2、example.conf配置文件

Java代码 ![收藏代码][icon_star.png]

1.   location /lua\_redis\_basic \{ 
2.   default\_type 'text/html'; 
3.   lua\_code\_cache on; 
4.   content\_by\_lua\_file /usr/example/lua/test\_redis\_basic.lua; 
5.  \}

3、访问如http://192.168.1.2/lua\_redis\_basic进行测试，正常情况得到如下信息

msg : hello world

**2、连接池**

建立TCP连接需要三次握手而释放TCP连接需要四次握手，而这些往返时延仅需要一次，以后应该复用TCP连接，此时就可以考虑使用连接池，即连接池可以复用连接。

我们只需要将之前的close\_redis函数改造为如下即可：

Java代码 ![收藏代码][icon_star.png]

1.  local function close\_redis(red) 
2.  if not red then 
3.  return
4.   end 
5.   \--释放连接(连接池实现) 
6.   local pool\_max\_idle\_time = 10000 \--毫秒 
7.   local pool\_size = 100 \--连接池大小 
8.   local ok, err = red:set\_keepalive(pool\_max\_idle\_time, pool\_size) 
9.  if not ok then 
10.  ngx.say("set keepalive error : ", err) 
11.  end 
12. end

即设置空闲连接超时时间防止连接一直占用不释放；设置连接池大小来复用连接。

此处假设调用red:set\_keepalive()，连接池大小通过nginx.conf中http部分的如下指令定义：

\#默认连接池大小，默认30

lua\_socket\_pool\_size 30;

\#默认超时时间,默认60s

lua\_socket\_keepalive\_timeout 60s;

注意：

1、连接池是每Worker进程的，而不是每Server的；

2、当连接超过最大连接池大小时，会按照LRU算法回收空闲连接为新连接使用；

3、连接池中的空闲连接出现异常时会自动被移除；

4、连接池是通过ip和port标识的，即相同的ip和port会使用同一个连接池（即使是不同类型的客户端如Redis、Memcached）；

5、连接池第一次set\_keepalive时连接池大小就确定下了，不会再变更；

5、cosocket的连接池[http://wiki.nginx.org/HttpLuaModule\#tcpsock:setkeepalive][http_wiki.nginx.org_HttpLuaModule_tcpsock_setkeepalive]。

**3、pipeline**

pipeline即管道，可以理解为把多个命令打包然后一起发送；MTU（Maxitum Transmission Unit 最大传输单元）为二层包大小，一般为1500字节；而MSS（Maximum Segment Size 最大报文分段大小）为四层包大小，其一般是1500-20（IP报头）-20（TCP报头）=1460字节；因此假设我们执行的多个Redis命令能在一个报文中传输的话，可以减少网络往返来提高速度。因此可以根据实际情况来选择走pipeline模式将多个命令打包到一个报文发送然后接受响应，而Redis协议也能很简单的识别和解决粘包。

1、修改之前的代码片段

Java代码 ![收藏代码][icon_star.png]

1. red:init\_pipeline() 
2. red:set("msg1", "hello1") 
3. red:set("msg2", "hello2") 
4. red:get("msg1") 
5. red:get("msg2") 
6. local respTable, err = red:commit\_pipeline() 
7. 
8. \--得到的数据为空处理 
9. if respTable == ngx.null then 
10. respTable = \{\} --比如默认值 
11. end 
12. 
13. \--结果是按照执行顺序返回的一个table 
14. for i, v in ipairs(respTable) do
15. ngx.say("msg : ", v, " ") 
16. end

通过init\_pipeline()初始化，然后通过commit\_pipieline()打包提交init\_pipeline()之后的Redis命令；返回结果是一个lua table，可以通过ipairs循环获取结果；

2、配置相应location，测试得到的结果

msg : OK  
msg : OK  
msg : hello1  
msg : hello2

3、Redis Lua脚本

利用Redis单线程特性，可以通过在Redis中执行Lua脚本实现一些原子操作。如之前的red:get("msg")可以通过如下两种方式实现：

1、直接eval：

Java代码 ![收藏代码][icon_star.png]

1.  local resp, err = red:eval("return redis.call('get', KEYS\[1\])", 1, "msg");

2、script load然后evalsha SHA1 校验和，这样可以节省脚本本身的服务器带宽：

Java代码 ![收藏代码][icon_star.png]

1. local sha1, err = red:script("load", "return redis.call('get', KEYS\[1\])"); 
2. if not sha1 then 
3. ngx.say("load script error : ", err) 
4. return close\_redis(red) 
5. end 
6. ngx.say("sha1 : ", sha1, " ") 
7. local resp, err = red:evalsha(sha1, 1, "msg");

首先通过script load导入脚本并得到一个sha1校验和（仅需第一次导入即可），然后通过evalsha执行sha1校验和即可，这样如果脚本很长通过这种方式可以减少带宽的消耗。

此处仅介绍了最简单的redis lua脚本，更复杂的请参考官方文档学习使用。

另外Redis集群分片算法该客户端没有提供需要自己实现，当然可以考虑直接使用类似于Twemproxy这种中间件实现。

Memcached客户端使用方式和本文类似，本文就不介绍了。

### Mysql客户端 ###

lua-resty-mysql是为基于cosocket API的ngx\_lua提供的Lua Mysql客户端，通过它可以完成Mysql的操作。默认安装OpenResty时已经自带了该模块，使用文档可参考[https://github.com/openresty/lua-resty-mysql][https_github.com_openresty_lua-resty-mysql]。

1、编辑test\_mysql.lua

Java代码 ![收藏代码][icon_star.png]

1. local function close\_db(db) 
2. if not db then 
3. return
4. end 
5. db:close() 
6. end 
7. 
8. local mysql = require("resty.mysql") 
9. \--创建实例 
10. local db, err = mysql:new() 
11. if not db then 
12. ngx.say("new mysql error : ", err) 
13. return
14. end 
15. \--设置超时时间(毫秒) 
16. db:set\_timeout(1000) 
17. 
18. local props = \{ 
19. host = "127.0.0.1", 
20. port = 3306, 
21. database = "mysql", 
22. user = "root", 
23. password = "123456"
24. \} 
25. 
26. local res, err, errno, sqlstate = db:connect(props) 
27. 
28. if not res then 
29. ngx.say("connect to mysql error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate) 
30. return close\_db(db) 
31. end 
32. 
33. \--删除表 
34. local drop\_table\_sql = "drop table if exists test"
35. res, err, errno, sqlstate = db:query(drop\_table\_sql) 
36. if not res then 
37. ngx.say("drop table error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate) 
38. return close\_db(db) 
39. end 
40. 
41. \--创建表 
42. local create\_table\_sql = "create table test(id int primary key auto\_increment, ch varchar(100))"
43. res, err, errno, sqlstate = db:query(create\_table\_sql) 
44. if not res then 
45. ngx.say("create table error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate) 
46. return close\_db(db) 
47. end 
48. 
49. \--插入 
50. local insert\_sql = "insert into test (ch) values('hello')"
51. res, err, errno, sqlstate = db:query(insert\_sql) 
52. if not res then 
53. ngx.say("insert error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate) 
54. return close\_db(db) 
55. end 
56. 
57. res, err, errno, sqlstate = db:query(insert\_sql) 
58. 
59. ngx.say("insert rows : ", res.affected\_rows, " , id : ", res.insert\_id, " ") 
60. 
61. \--更新 
62. local update\_sql = "update test set ch = 'hello2' where id =" .. res.insert\_id 
63. res, err, errno, sqlstate = db:query(update\_sql) 
64. if not res then 
65. ngx.say("update error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate) 
66. return close\_db(db) 
67. end 
68. 
69. ngx.say("update rows : ", res.affected\_rows, " ") 
70. \--查询 
71. local select\_sql = "select id, ch from test"
72. res, err, errno, sqlstate = db:query(select\_sql) 
73. if not res then 
74. ngx.say("select error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate) 
75. return close\_db(db) 
76. end 
77. 
78. 
79. for i, row in ipairs(res) do
80. for name, value in pairs(row) do
81. ngx.say("select row ", i, " : ", name, " = ", value, " ") 
82. end 
83. end 
84. 
85. ngx.say(" ") 
86. \--防止sql注入 
87. local ch\_param = ngx.req.get\_uri\_args()\["ch"\] or ''
88. \--使用ngx.quote\_sql\_str防止sql注入 
89. local query\_sql = "select id, ch from test where ch = " .. ngx.quote\_sql\_str(ch\_param) 
90. res, err, errno, sqlstate = db:query(query\_sql) 
91. if not res then 
92. ngx.say("select error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate) 
93. return close\_db(db) 
94. end 
95. 
96. for i, row in ipairs(res) do
97. for name, value in pairs(row) do
98. ngx.say("select row ", i, " : ", name, " = ", value, " ") 
99. end 
100. end 
101. 
102. \--删除 
103. local delete\_sql = "delete from test"
104. res, err, errno, sqlstate = db:query(delete\_sql) 
105. if not res then 
106. ngx.say("delete error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate) 
107. return close\_db(db) 
108. end 
109. 
110. ngx.say("delete rows : ", res.affected\_rows, " ") 
111. 
112. 
113. close\_db(db)

对于新增/修改/删除会返回如下格式的响应：

Java代码 ![收藏代码][icon_star.png]

1.  \{ 
2.   insert\_id = 0, 
3.   server\_status = 2, 
4.   warning\_count = 1, 
5.   affected\_rows = 32, 
6.   message = nil 
7.  \}

affected\_rows表示操作影响的行数，insert\_id是在使用自增序列时产生的id。

对于查询会返回如下格式的响应：

Java代码 ![收藏代码][icon_star.png]

1.  \{ 
2.   \{ id= 1, ch= "hello"\}, 
3.   \{ id= 2, ch= "hello2"\} 
4.  \}

null将返回ngx.null。

2、example.conf配置文件

Java代码 ![收藏代码][icon_star.png]

1.  location /lua\_mysql \{ 
2.   default\_type 'text/html'; 
3.   lua\_code\_cache on; 
4.   content\_by\_lua\_file /usr/example/lua/test\_mysql.lua; 
5.  \}

3、访问如http://192.168.1.2/lua\_mysql?ch=hello进行测试，得到如下结果

Java代码 ![收藏代码][icon_star.png]

1.  insert rows : 1 , id : 2
2.  update rows : 1
3.  select row 1 : ch = hello 
4.  select row 1 : id = 1
5.  select row 2 : ch = hello2 
6.  select row 2 : id = 2
7.  select row 1 : ch = hello 
8.  select row 1 : id = 1
9.  delete rows : 2

客户端目前还没有提供预编译SQL支持（即占位符替换位置变量），这样在入参时记得使用ngx.quote\_sql\_str进行字符串转义，防止sql注入；连接池和之前Redis客户端完全一样就不介绍了。

对于Mysql客户端的介绍基本够用了，更多请参考[https://github.com/openresty/lua-resty-mysql][https_github.com_openresty_lua-resty-mysql]。

其他如MongoDB等数据库的客户端可以从github上查找使用。

### Http客户端 ###

OpenResty默认没有提供Http客户端，需要使用第三方提供；当然我们可以通过ngx.location.capture 去方式实现，但是有一些限制，后边我们再做介绍。

我们可以从github上搜索相应的客户端，比如[https://github.com/pintsized/lua-resty-http][https_github.com_pintsized_lua-resty-http]。

**lua-resty-http**

1、下载lua-resty-http客户端到lualib

Java代码 ![收藏代码][icon_star.png]

1.  cd /usr/example/lualib/resty/ 
2.  wget https://raw.githubusercontent.com/pintsized/lua-resty-http/master/lib/resty/http\_headers.lua
3.  wget https://raw.githubusercontent.com/pintsized/lua-resty-http/master/lib/resty/http.lua

2、test\_http\_1.lua

Java代码 ![收藏代码][icon_star.png]

1.  local http = require("resty.http") 
2.  \--创建http客户端实例 
3.  local httpc = http.new() 
4.  
5.  local resp, err = httpc:request\_uri("http://s.taobao.com", \{ 
6.   method = "GET", 
7.   path = "/search?q=hello", 
8.   headers = \{ 
9.   \["User-Agent"\] = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36"
10.  \} 
11. \}) 
12. 
13. if not resp then 
14.  ngx.say("request error :", err) 
15. return
16. end 
17. 
18. \--获取状态码 
19. ngx.status = resp.status 
20. 
21. \--获取响应头 
22. for k, v in pairs(resp.headers) do
23. if k ~= "Transfer-Encoding" and k ~= "Connection" then 
24.  ngx.header\[k\] = v 
25.  end 
26. end 
27. \--响应体 
28. ngx.say(resp.body) 
29. 
30. httpc:close()

响应头中的Transfer-Encoding和Connection可以忽略，因为这个数据是当前server输出的。

3、example.conf配置文件

Java代码 ![收藏代码][icon_star.png]

1.  location /lua\_http\_1 \{ 
2.   default\_type 'text/html'; 
3.   lua\_code\_cache on; 
4.   content\_by\_lua\_file /usr/example/lua/test\_http\_1.lua; 
5.  \}

4、在nginx.conf中的http部分添加如下指令来做DNS解析

Java代码 ![收藏代码][icon_star.png]

1.  resolver 8.8.8.8;

记得要配置DNS解析器resolver 8.8.8.8，否则域名是无法解析的。

5、访问如http://192.168.1.2/lua\_http\_1会看到淘宝的搜索界面。

使用方式比较简单，如超时和连接池设置和之前Redis客户端一样，不再阐述。更多客户端使用规则请参考[https://github.com/pintsized/lua-resty-http][https_github.com_pintsized_lua-resty-http]。

**ngx.location.capture**

ngx.location.capture也可以用来完成http请求，但是它只能请求到相对于当前nginx服务器的路径，不能使用之前的绝对路径进行访问，但是我们可以配合nginx upstream实现我们想要的功能。

1、在nginx.cong中的http部分添加如下upstream配置

Java代码 ![收藏代码][icon_star.png]

1.  upstream backend \{ 
2.   server s.taobao.com; 
3.   keepalive 100; 
4.  \}

即我们将请求upstream到backend；另外记得一定要添加之前的DNS解析器。

2、在example.conf配置如下location

Java代码 ![收藏代码][icon_star.png]

1.  location ~ /proxy/(.\*) \{ 
2.   internal; 
3.   proxy\_pass http://backend/$1$is\_args$args;
4.  \}

internal表示只能内部访问，即外部无法通过url访问进来； 并通过proxy\_pass将请求转发到upstream。

3、test\_http\_2.lua

Java代码 ![收藏代码][icon_star.png]

1.  local resp = ngx.location.capture("/proxy/search", \{ 
2.   method = ngx.HTTP\_GET, 
3.   args = \{q = "hello"\} 
4.  
5.  \}) 
6.  if not resp then 
7.   ngx.say("request error :", err) 
8.  return
9.  end 
10. ngx.log(ngx.ERR, tostring(resp.status)) 
11. 
12. \--获取状态码 
13. ngx.status = resp.status 
14. 
15. \--获取响应头 
16. for k, v in pairs(resp.header) do
17. if k ~= "Transfer-Encoding" and k ~= "Connection" then 
18.  ngx.header\[k\] = v 
19.  end 
20. end 
21. \--响应体 
22. if resp.body then 
23.  ngx.say(resp.body) 
24. end

通过[ngx.location.capture][]发送一个子请求，此处因为是子请求，所有请求头继承自当前请求，还有如ngx.ctx和ngx.var是否继承可以参考官方文档[http://wiki.nginx.org/HttpLuaModule\#ngx.location.capture][ngx.location.capture]。 另外还提供了ngx.location.capture\_multi用于并发发出多个请求，这样总的响应时间是最慢的一个，批量调用时有用。

4、example.conf配置文件

Java代码 ![收藏代码][icon_star.png]

1.  location /lua\_http\_2 \{ 
2.   default\_type 'text/html'; 
3.   lua\_code\_cache on; 
4.   content\_by\_lua\_file /usr/example/lua/test\_http\_2.lua; 
5.  \}

5、访问如http://192.168.1.2/lua\_http\_2进行测试可以看到淘宝搜索界面。

我们通过upstream+ngx.location.capture方式虽然麻烦点，但是得到更好的性能和upstream的连接池、负载均衡、故障转移、proxy cache等特性。

不过因为继承在当前请求的请求头，所以可能会存在一些问题，比较常见的就是gzip压缩问题，ngx.location.capture不会解压缩后端服务器的GZIP内容，解决办法可以参考[https://github.com/openresty/lua-nginx-module/issues/12][https_github.com_openresty_lua-nginx-module_issues_12]；因为我们大部分这种http调用的都是内部服务，因此完全可以在proxy location中添加proxy\_pass\_request\_headers off;来不传递请求头。

来源:http://jinnianshilongnian.iteye.com/blog/2187328

[https_github.com_search_utf8_E2_9C_93_q_lua_resty]: https://github.com/search?utf8=%E2%9C%93&q=lua+resty
[https_github.com_openresty_lua-resty-redis]: https://github.com/openresty/lua-resty-redis
[icon_star.png]: http://jinnianshilongnian.iteye.com/images/icon_star.png
[http_wiki.nginx.org_HttpLuaModule_tcpsock_setkeepalive]: http://wiki.nginx.org/HttpLuaModule#tcpsock:setkeepalive
[https_github.com_openresty_lua-resty-mysql]: https://github.com/openresty/lua-resty-mysql
[https_github.com_pintsized_lua-resty-http]: https://github.com/pintsized/lua-resty-http
[ngx.location.capture]: http://wiki.nginx.org/HttpLuaModule#ngx.location.capture
[https_github.com_openresty_lua-nginx-module_issues_12]: https://github.com/openresty/lua-nginx-module/issues/12