大数据之Presto

Love The Way You Lie 2023-09-30 09:48 23阅读 0赞

## 大数据之Presto ##

#### 文章目录 ####

*  大数据之Presto
 *   *  第1章 Presto
     *   *  1.1 Presto简介
         *   *  1.1.1 Presto概念
             *  1.1.2 Presto架构
             *  1.1.3 Presto优缺点
             *  1.1.4 Presto、Impala性能比较
         *  1.2 Presto安装
         *   *  1.2.1 Presto Server安装
             *  1.2.2 Presto命令行Client安装
             *  1.2.3 Presto可视化Client安装
         *  1.3 Presto优化之数据存储
         *   *  1.3.1 合理设置分区
             *  1.3.2 使用列式存储
             *  1.3.3 使用压缩
         *  1.4 Presto优化之查询SQL
         *   *  1.4.1 只选择使用的字段
             *  1.4.2 过滤条件必须加上分区字段
             *  1.4.3 Group By语句优化
             *  1.4.4 Order by时使用Limit
             *  1.4.5 使用Join语句时将大表放在左边
         *  1.5 注意事项
         *   *  1.5.1 字段名引用
             *  1.5.2 时间函数
             *  1.5.3 不支持INSERT OVERWRITE语法
             *  1.5.4 PARQUET格式

### 第1章 Presto ###

#### 1.1 Presto简介 ####

##### 1.1.1 Presto概念 #####

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16]

##### 1.1.2 Presto架构 #####

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 1]

##### 1.1.3 Presto优缺点 #####

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 2]

##### 1.1.4 Presto、Impala性能比较 #####

https://blog.csdn.net/u012551524/article/details/79124532

测试结论：Impala性能稍领先于Presto，但是Presto在数据源支持上非常丰富，包括Hive、图数据库、传统关系型数据库、Redis等。

#### 1.2 Presto安装 ####

##### 1.2.1 Presto Server安装 #####

0）官网地址

`https://prestodb.github.io/`

1）下载地址

`https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.196/presto-server-0.196.tar.gz`

2）将presto-server-0.196.tar.gz导入hadoop102的/opt/software目录下，并解压到/opt/module目录

`[liumingze@hadoop102 software]$ tar -zxvf presto-server-0.196.tar.gz -C /opt/module/`

3）修改名称为presto

`[liumingze@hadoop102 module]$ mv presto-server-0.196/ presto`

4）进入到/opt/module/presto目录，并创建存储数据文件夹

`[liumingze@hadoop102 presto]$ mkdir data`

5）进入到/opt/module/presto目录，并创建存储配置文件文件夹

`[liumingze@hadoop102 presto]$ mkdir etc`

6）配置在/opt/module/presto/etc目录下添加jvm.config配置文件

`[liumingze@hadoop102 etc]$ vim jvm.config`

添加如下内容

-server
    -Xmx16G
    -XX:+UseG1GC
    -XX:G1HeapRegionSize=32M
    -XX:+UseGCOverheadLimit
    -XX:+ExplicitGCInvokesConcurrent
    -XX:+HeapDumpOnOutOfMemoryError
    -XX:+ExitOnOutOfMemoryError

7）Presto可以支持多个数据源，在Presto里面叫catalog，这里我们配置支持Hive的数据源，配置一个Hive的catalog

`[liumingze@hadoop102 etc]$ mkdir catalog`

`[liumingze@hadoop102 catalog]$ vim hive.properties`

添加如下内容

connector.name=hive-hadoop2
    hive.metastore.uri=thrift://hadoop102:9083

8）将hadoop102上的presto分发到hadoop103、hadoop104

`[liumingze@hadoop102 module]$ xsync presto`

9）分发之后，分别进入hadoop102、hadoop103、hadoop104三台主机的/opt/module/presto/etc的路径。配置node属性，node id每个节点都不一样。

`[liumingze@hadoop102 etc]$vim node.properties`

node.environment=production
    node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
    node.data-dir=/opt/module/presto/data

`[liumingze@hadoop103 etc]$vim node.properties`

node.environment=production
    node.id=ffffffff-ffff-ffff-ffff-fffffffffffe
    node.data-dir=/opt/module/presto/data

`[liumingze@hadoop104 etc]$vim node.properties`

node.environment=production
    node.id=ffffffff-ffff-ffff-ffff-fffffffffffd
    node.data-dir=/opt/module/presto/data

10）Presto是由一个coordinator节点和多个worker节点组成。在hadoop102上配置成coordinator，在hadoop103、hadoop104上配置为worker。

（1）hadoop102上配置coordinator节点

`[liumingze@hadoop102 etc]$ vim config.properties`

添加内容如下

coordinator=true
    node-scheduler.include-coordinator=false
    http-server.http.port=8881
    query.max-memory=50GB
    discovery-server.enabled=true
    discovery.uri=http://hadoop102:8881

（2）hadoop103、hadoop104上配置worker节点

`[liumingze@hadoop103 etc]$ vim config.properties`

添加内容如下

coordinator=false
    http-server.http.port=8881
    query.max-memory=50GB
    discovery.uri=http://hadoop102:8881

`[liumingze@hadoop104 etc]$ vim config.properties`

添加内容如下

coordinator=false
    http-server.http.port=8881
    query.max-memory=50GB
    discovery.uri=http://hadoop102:8881

11）在hadoop102的/opt/module/hive目录下，启动Hive Metastore，用liumingze角色

`[liumingze@hadoop102 hive]$`

`nohup bin/hive --service metastore >/dev/null 2>&1 &`

12）分别在hadoop102、hadoop103、hadoop104上启动Presto Server

（1）前台启动Presto，控制台显示日志

`[liumingze@hadoop102 presto]$ bin/launcher run`

`[liumingze@hadoop103 presto]$ bin/launcher run`

`[liumingze@hadoop104 presto]$ bin/launcher run`

（2）后台启动Presto

`[liumingze@hadoop102 presto]$ bin/launcher start`

`[liumingze@hadoop103 presto]$ bin/launcher start`

`[liumingze@hadoop104 presto]$ bin/launcher start`

13）日志查看路径/opt/module/presto/data/var/log

##### 1.2.2 Presto命令行Client安装 #####

1）下载Presto的客户端

https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.196/presto-cli-0.196-executable.jar

2）将presto-cli-0.196-executable.jar上传到hadoop102的/opt/module/presto文件夹下

3）修改文件名称

`[liumingze@hadoop102 presto]$ mv presto-cli-0.196-executable.jar prestocli`

4）增加执行权限

`[liumingze@hadoop102 presto]$ chmod +x prestocli`

5）启动prestocli

`[liumingze@hadoop102 presto]$ ./prestocli --server hadoop102:8881 --catalog hive --schema default`

6）Presto命令行操作

Presto的命令行操作，相当于Hive命令行操作。每个表必须要加上schema。

例如：

> select \* from schema.table limit 100

##### 1.2.3 Presto可视化Client安装 #####

1）将yanagishima-18.0.zip上传到hadoop102的/opt/module目录

2）解压缩yanagishima

`[liumingze@hadoop102 module]$ unzip yanagishima-18.0.zip`

`cd yanagishima-18.0`

3）进入到/opt/module/yanagishima-18.0/conf文件夹，编写yanagishima.properties配置

`[liumingze@hadoop102 conf]$ vim yanagishima.properties`

添加如下内容

jetty.port=7080
    presto.datasources=liumingze-presto
    presto.coordinator.server.liumingze-presto=http://hadoop102:8881
    catalog.liumingze-presto=hive
    schema.liumingze-presto=default
    sql.query.engines=presto

4）在/opt/module/yanagishima-18.0路径下启动yanagishima

`[liumingze@hadoop102 yanagishima-18.0]$`

`nohup bin/yanagishima-start.sh >y.log 2>&1 &`

5）启动web页面

http://hadoop102:7080

看到界面，进行查询了。

6）查看表结构

这里有个Tree View，可以查看所有表的结构，包括Schema、表、字段等![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 3]  
。

比如执行select \* from hive.dw\_weather.tmp\_news\_click limit 10，这个句子里Hive这个词可以删掉，是上面配置的Catalog

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 4]

每个表后面都有个复制键，点一下会复制完整的表名，然后再上面框里面输入sql语句，ctrl+enter键执行显示结果  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 5]

#### 1.3 Presto优化之数据存储 ####

##### 1.3.1 合理设置分区 #####

与Hive类似，Presto会根据元数据信息读取分区数据，合理的分区能减少Presto数据读取量，提升查询性能。

##### 1.3.2 使用列式存储 #####

Presto对ORC文件读取做了特定优化，因此在Hive中创建Presto使用的表时，建议采用ORC格式存储。相对于Parquet，Presto对ORC支持更好。

##### 1.3.3 使用压缩 #####

数据压缩可以减少节点间数据传输对IO带宽压力，对于即席查询需要快速解压，建议采用Snappy压缩。

#### 1.4 Presto优化之查询SQL ####

##### 1.4.1 只选择使用的字段 #####

由于采用列式存储，选择需要的字段可加快字段的读取、减少数据量。避免采用\*读取所有字段。

[GOOD]: SELECT time, user, host FROM tbl
    [BAD]:  SELECT * FROM tbl

##### 1.4.2 过滤条件必须加上分区字段 #####

对于有分区的表，where语句中优先使用分区字段进行过滤。acct\_day是分区字段，visit\_time是具体访问时间。

[GOOD]: SELECT time, user, host FROM tbl where acct_day=20171101

\[BAD\]: SELECT \* FROM tbl where visit\_time=20171101

##### 1.4.3 Group By语句优化 #####

合理安排Group by语句中字段顺序对性能有一定提升。将Group By语句中字段按照每个字段distinct数据多少进行降序排列。

[GOOD]: SELECT GROUP BY uid, gender
    [BAD]:  SELECT GROUP BY gender, uid

##### 1.4.4 Order by时使用Limit #####

Order by需要扫描数据到单个worker节点进行排序，导致单个worker需要大量内存。如果是查询Top N或者Bottom N，使用limit可减少排序计算和内存压力。

[GOOD]: SELECT * FROM tbl ORDER BY time LIMIT 100
    [BAD]:  SELECT * FROM tbl ORDER BY time

##### 1.4.5 使用Join语句时将大表放在左边 #####

Presto中join的默认算法是broadcast join，即将join左边的表分割到多个worker，然后将join右边的表数据整个复制一份发送到每个worker进行计算。如果右边的表数据量太大，则可能会报内存溢出错误。

[GOOD] SELECT ... FROM large_table l join small_table s on l.id = s.id
    [BAD] SELECT ... FROM small_table s join large_table l on l.id = s.id

#### 1.5 注意事项 ####

##### 1.5.1 字段名引用 #####

避免和关键字冲突：MySQL对字段加反引号\*\*\`、\*\*Presto对字段加双引号分割

当然，如果字段名称不是关键字，可以不加这个双引号。

##### 1.5.2 时间函数 #####

对于Timestamp，需要进行比较的时候，需要添加Timestamp关键字，而MySQL中对Timestamp可以直接进行比较。

**MySQL的写法**

SELECT t FROM a WHERE t > '2017-01-01 00:00:00';

**Presto中的写法**

SELECT t FROM a WHERE t > timestamp '2017-01-01 00:00:00';

##### 1.5.3 不支持INSERT OVERWRITE语法 #####

Presto中不支持insert overwrite语法，只能先delete，然后insert into。

##### 1.5.4 PARQUET格式 #####

Presto目前支持Parquet格式，支持查询，但不支持insert。

[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/aa800de9f7e145b3b214c8584a9f70e5.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/6106756540e441eb8283e037a3e82a27.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 2]: https://img-blog.csdnimg.cn/41dd53c2b76c46d59b3c07c92044fca8.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 3]: https://img-blog.csdnimg.cn/8f22619abf3d40beb53db22944fb8911.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 4]: https://img-blog.csdnimg.cn/d830bdc2787640b79d25eaf87b346ef9.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rO96KW_TA_size_20_color_FFFFFF_t_70_g_se_x_16 5]: https://img-blog.csdnimg.cn/cf94cc28856b42e697cb720759903f81.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rO96KW_TA==,size_20,color_FFFFFF,t_70,g_se,x_16