Presto (三) --------- Presto 优化

古城微笑少年丶 2024-04-01 15:20 45阅读 0赞

#### 目录 ####

*  一、数据存储
 *  二、查询 SQL
 *  三、注意事项

--------------------

## 一、数据存储 ##

**A、合理设置分区**

与 Hive 类似，Presto 会根据元数据信息读取分区数据，合理的分区能减少Presto 数据读取量，提升查询性能。

**B、使用列式存储**

Presto 对 ORC 文件读取做了特定优化，因此在 Hive 中创建 Presto 使用的表时，建议采用 ORC 格式存储。相对于 Parquet，Presto 对 ORC 支持更好。

**C、使用压缩**

数据压缩可以减少节点间数据传输对 IO 带宽压力，对于即席查询需要快速解压，建议采用 Snappy 压缩。

## 二、查询 SQL ##

**A、只选择使用的字段**

由于采用列式存储，选择需要的字段可加快字段的读取、减少数据量。避免采用 \* 读取所有字段。

[GOOD]: SELECT time, user, host FROM tbl
    [BAD]:  SELECT * FROM tbl

**B、过滤条件必须加上分区字段**

对于有分区的表，where 语句中优先使用分区字段进行过滤。acct\_day 是分区字段，visit\_time 是具体访问时间。

[GOOD]: SELECT time, user, host FROM tbl where acct_day=20171101
    [BAD]:  SELECT * FROM tbl where visit_time=20171101

**C、Group By 语句优化**

合理安排 Group by 语句中字段顺序对性能有一定提升。将 Group By 语句中字段按照每个字段 distinct 数据多少进行降序排列。

[GOOD]: SELECT GROUP BY uid, gender
    [BAD]:  SELECT GROUP BY gender, uid

**D、Order by 时使用 Limit**

Order by 需要扫描数据到单个 worker 节点进行排序，导致单个 worker 需要大量内存。如果是查询 Top N 或者 Bottom N，使用 limit 可减少排序计算和内存压力。

[GOOD]: SELECT * FROM tbl ORDER BY time LIMIT 100
    [BAD]:  SELECT * FROM tbl ORDER BY time

**E、使用 Join 语句时将大表放在左边**

Presto中 join 的默认算法是 broadcast join，即将 join 左边的表分割到多个worker，然后将 join 右边的表数据整个复制一份发送到每个 worker 进行计算。如果右边的表数据量太大，则可能会报内存溢出错误。

[GOOD] SELECT ... FROM large_table l join small_table s on l.id = s.id
    [BAD] SELECT ... FROM small_table s join large_table l on l.id = s.id

## 三、注意事项 ##

**A、字段名引用**

避免和关键字冲突：MySQL 对字段加反引号\`、Presto对字段加双引号分割  
当然，如果字段名称不是关键字，可以不加这个双引号。

**B、时间函数**

对于 Timestamp，需要进行比较的时候，需要添加 Timestamp 关键字，而 MySQL 中对 Timestamp 可以直接进行比较。

/*MySQL的写法*/
    SELECT t FROM a WHERE t > '2017-01-01 00:00:00'; 
    /*Presto中的写法*/
    SELECT t FROM a WHERE t > timestamp '2017-01-01 00:00:00';

**C、不支持 INSERT OVERWRITE 语法**

Presto 中不支持 insert overwrite 语法，只能先 delete，然后 insert into。

**D、PARQUET 格式**

Presto 目前支持 Parquet 格式，支持查询，但不支持 insert。

发表评论取消回复

表情：

评论列表（有 0 条评论，45人围观）

还没有评论，来说两句吧...

相关阅读

相关 Presto (三) --------- Presto 优化

目录一、数据存储二、查询 SQL 三、注意事项 -------------------- 一、数据存储 A、合理设置分区与 Hive

古城微笑少年丶/ 2024年04月01日 15:20/ 0 赞/ 46 阅读

相关 Presto (二) --------- Presto 安装

目录一、Presto Server 安装二、Presto 命令行 Client 安装三、Presto 可视化 Client 安装 -------

电玩女神/ 2024年04月01日 15:18/ 0 赞/ 39 阅读

相关 Presto (一) --------- Presto 简介

目录一、Presto 概念二、Presto 架构三、Presto 优缺点四、Presto、Impala 性能比较 -----------

￡神魔★判官ぃ/ 2024年04月01日 15:18/ 0 赞/ 41 阅读

相关结合Presto CLI，Presto Client学习

1. 序言作为Presto的客户端之一，Presto CLI是一个基于终端的交互式shell，它依赖Presto client向Presto server提交查询

爱被打了一巴掌/ 2024年03月24日 13:35/ 0 赞/ 15 阅读

相关 presto查询优化

资料：https://www.jianshu.com/p/f435ce79c966 数据存储优化合理设置分区与Hive类似，Presto会根据元信

约定不等于承诺〃/ 2023年01月14日 10:56/ 0 赞/ 98 阅读

相关 Presto优化之数据存储

Presto优化之数据存储 1. 合理设置分区 > 与Hive类似，Presto会根据元数据信息读取分区数据，合理的分区能减少Presto数据读取量，提升查询性能。

向右看齐/ 2023年01月07日 11:28/ 0 赞/ 177 阅读

相关 Presto优化之查询SQL

Presto优化之查询SQL 1. 只选择使用的字段 > 由于采用列式存储，选择需要的字段可加快字段的读取、减少数据量。避免采用\读取所有字段。 [GOO

柔情只为你懂/ 2023年01月07日 11:28/ 0 赞/ 356 阅读

相关 (三)presto集成Mysql

一、集成之前 1、启动mysql service mysql start 2、登录mysql并查看相关信息 [root@master bin

叁歲伎倆/ 2022年12月22日 04:38/ 0 赞/ 162 阅读

相关 Presto

前文： Presto是一个分布式SQL查询引擎，用于查询分布在一个或多个异构数据源上的大型数据集。一、概念 ![watermark_type_Zm

女爷i/ 2021年12月07日 10:29/ 0 赞/ 488 阅读

相关 Presto优化方法

我们针对presto主要优化了以下方面： 1.合并store\_sales表里面的152小文件到38个文件，每个250M; ALTER TABLE store\_sales

Love The Way You Lie/ 2021年09月28日 23:38/ 0 赞/ 455 阅读