Presto和Redis结合使用

柔情只为你懂 2021-09-28 23:40 661阅读 0赞

官方文档：[https://prestodb.io/docs/current/connector/redis.html][https_prestodb.io_docs_current_connector_redis.html]

说明：

版本Redis 2.8.0+

不支持redis cluster

只支持Redis string 和 hash类型的 value，不支持 sets 和 zsets 类型的value

# 1.安装redis #

mkdir /data/redis
    
    cd /data/redis
    
    mkdir conf pidfiles log data script

## 解压 ##

cd /opt/redis
    
    tar -xzvf redis-4.0.11.tar.gz
    
    cd redis-4.0.11
    
    make
    
    make test

## 安装 ##

make install PREFIX=/data/redis

## 配置 ##

cd /data/redis/conf
    
    vi redis.conf

### 文件内容如下： ###

# 后台运行服务
    daemonize yes
    # 服务pid保存位置
    pidfile /data/redis/pidfiles/redis.pid
    # 绑定服务ip （注意修改）
    bind 192.168.6.12
    # 服务端口
    port 6379
    # 开启防护模式
    protected-mode yes
    # 当前节点最大内存（根据数据量进行估算）
    maxmemory 10gb
    # 过期策略 （根据业务进行修改，如果数据能能丢就采用当前模式。详情参考下面含义）
    maxmemory-policy noeviction
    # TCP监听的最大连接数
    tcp-backlog 32768
    # 连接空闲超时时间（如果是长链接保持不变，如果短连接建议修改）
    timeout 0 
    # tcp 心跳间隔
    tcp-keepalive 30
    # 日志级别
    loglevel notice
    # 日志位置
    logfile /data/redis/log/redis.log
    # 配置持久化目录
    dir /data/redis/data
    # 持久化rdb文件名称
    dbfilename redis.rdb
    # 持久化失败后，不允许执行写入操作
    stop-writes-on-bgsave-error no
    # 持久化条件（是否生成rdb持久化文件，一般采用自动备份和定时备份，save "" 表示关闭自动备份，定时备份通过定时任务触发bgsave完成）
    # 下面不进行自动备份
    #save "" 
    # 下面表示打开自动备份
    save 900 1
    save 300 10
    save 60 3000
    # aof持久化（aof持久化比较及时，但恢复慢，文件大。一般跟rdb一样都打开，除非定时任务触发备份）
    appendonly yes
    # 开启慢查询记录
    slowlog-log-slower-than 10000
    slowlog-max-len 128
    # 配置客户端最大连接数
    maxclients 15000
    # 配置lua脚本最大执行时长
    lua-time-limit 5000
    # 优化存储编码
    hash-max-ziplist-entries 512
    hash-max-ziplist-value 2048
    zset-max-ziplist-entries 512
    zset-max-ziplist-value 512
    set-max-intset-entries 512

## 启动 ##

/data/redis/bin/redis-server /data/redis/conf/redis.conf 1>> /data/redis/log/redis.log 2>&1

## 测试 ##

/data/redis/bin/redis-cli -c -h 192.168.6.12 -p 6379
    
    set foo bar
    
    get foo

### 关闭 ###

./redis-cli  -h 192.168.6.12 -p 6379 shutdown  关闭

# 2.在presto中配置redis相关参数 #

vi etc/catalog/redis.properties

connector.name=redis redis.table-names=default.test,default.simple 
    redis.nodes=192.168.6.12:6379
    # 需要查询的表要都要写在这里，而且需要在etc/redis目录下定义对应表的json文件，
    #每次修改后需要重启presto生效

# 3.在presto中配置redis的table信息 #

## 表test ##

vi etc/redis/test.json

{
       "tableName": "test",
       "schemaName": "default",
       "key": {
           "dataFormat": "raw",
           "fields": [
                {
                    "name":"redis_key",
                    "type":"VARCHAR",
                    "hidden":"false"
               }
           ]
       },
       "value": {
           "dataFormat": "json",
           "fields": [
               {
                    "name":"row_number",
                    "mapping":"rowNumber",
                    "type":"BIGINT"
               },
               {
                    "name":"customer_key",
                    "mapping":"customerKey",
                    "type":"BIGINT"
               },
               {
                    "name":"name",
                    "mapping":"name",
                    "type":"VARCHAR"
               }
          ]
        }
    }

## 表simple ##

vi etc/redis/simple.json

{
       "tableName": "simple",
       "schemaName": "default",
       "key": {
           "dataFormat": "raw",
           "fields": [
                {
                    "name":"redis_key",
                    "type":"VARCHAR",
                    "hidden":"false"
               }
           ]
       },
       "value": {
           "dataFormat": "raw",
           "fields": [
               {
                    "name":"redis_value",
                    "type":"VARCHAR"
               }
          ]
        }
    }

# 4.写数据到redis中 #

/data/redis/bin/redis-cli -c -h 192.168.6.12 -p 6379

在redis命令行下执行：

set key1 "{\"rowNumber\":1,\"customerKey\":1,\"name\":\"Customer#000000001\"}"
    
     set key2 "{\"rowNumber\":3,\"customerKey\":3,\"name\":\"Customer#000000003\"}"
    
     set key3 "{\"rowNumber\":5,\"customerKey\":5,\"name\":\"Customer#000000005\"}"
    
     set key4 "{\"rowNumber\":7,\"customerKey\":7,\"name\":\"Customer#000000007\"}"
    
     set key5 "{\"rowNumber\":9,\"customerKey\":9,\"name\":\"Customer#000000009\"}"
    
     set key6 "{\"rowNumber\":9,\"customerKey\":19,\"name\":\"Customer#0000000019\"}"

# 5.查询数据 #

bin/launcher restart

bin/presto --server 192.168.6.12:8080 --catalog redis --schema default

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3YWh1dA_size_16_color_FFFFFF_t_70][]

# 6.遇到问题 #

定义了两张表，simple表两个字段，分别对应key和value；test表四个字段，需要把redis的value的json值解析成相应的字段值。查询simple表正常，查test表报错了，后来发现是有一条数据foo/bar，value值不是json，删掉这条数据后正常。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3YWh1dA_size_16_color_FFFFFF_t_70 1][]

![Image 1][]

# 7、生成批量测试数据 #

用redis自带的debug命令生成测试数据

在redis-cli客户端下执行，生成1千万测试数据

debug populate 10000000

＃debug创建的测试数据内容为：key:\#->value:\#，比如key:123->value:123

查看当前数据量：

/data/redis/bin/redis-cli -c -h 192.168.6.12 -p 6379

dbsize

![20190611105232190.png][]

# 8、在presto中查询 #

/opt/presto/presto-server-0.215/bin/presto --server 192.168.6.12:8080 --catalog redis --schema default

查看表

show tables;

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3YWh1dA_size_16_color_FFFFFF_t_70 2][]

不支持删表

drop table test;

![20190611105324174.png][]

统计表数据量，1千万的数据量，统计用时3分钟多

select count(\*) from simple;

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3YWh1dA_size_16_color_FFFFFF_t_70 3][]

查询全部数据

select \* from simple;

控制台会直接输出一部分数据，按回车会显示更多数据，在web页面可以看到查询进度；过了一段时间发现报错了

com.facebook.presto.spi.PrestoException: Query 20190118\_094926\_00012\_4dxq5 has not been accessed since 2019-01-18T17:49:26.869+08:00: currentTime 2019-01-18T17:54:27.170+08:00

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3YWh1dA_size_16_color_FFFFFF_t_70 4][]

带where条件查询，应该遍历所有的数据，速度很慢

select \* from simple where redis\_key='key:6019788';

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3YWh1dA_size_16_color_FFFFFF_t_70 5][]

总结：

Presto和Redis结合使用效果并不理想，所以不建议这样使用。

![Image 1][]

[https_prestodb.io_docs_current_connector_redis.html]: https://prestodb.io/docs/current/connector/redis.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3YWh1dA_size_16_color_FFFFFF_t_70]: /images/20210923/545a408c79584b7fa87a9107c598572c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3YWh1dA_size_16_color_FFFFFF_t_70 1]: /images/20210923/06a6600c090040978ffc7f15a051c2dc.png
[Image 1]: 
[20190611105232190.png]: /images/20210923/17dd43dc5d994c248f7298d71f4f40db.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3YWh1dA_size_16_color_FFFFFF_t_70 2]: /images/20210923/039af4b66e91453bb279066bb3096855.png
[20190611105324174.png]: /images/20210923/6bfece4b82c94b9eb06c95a389384ae9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3YWh1dA_size_16_color_FFFFFF_t_70 3]: /images/20210923/b1c754d7dd164cfb9416051b9327e2b7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3YWh1dA_size_16_color_FFFFFF_t_70 4]: /images/20210923/b21222fe3af04b9e9fdde8b434973909.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p3YWh1dA_size_16_color_FFFFFF_t_70 5]: /images/20210923/7f23d61f95a14fef9c9d0da555b8a08f.png