揭秘 PostgreSQL 的内部结构 - 第 3 章

Bertha 。 2024-03-16 22:34 40阅读 0赞

欢迎再次回到我关于 PostgreSQL 内部工作原理的博客系列。  
在上一篇文章中，我们介绍了作者 Hironubu SUZUKI 的《The Internals of PostgreSQL》的第 2 章“进程和内存架构”。  
继续这个旅程，我们现在将开始介绍第 3 章“查询处理”。查询处理是 PostgreSQL 中最复杂的子系统。本章将帮助我们更好地理解这一关键特性，特别是在查询优化方面。那么让我们直接开始吧。

概述  
正如第 2 章中所讨论的，连接的客户端发出的所有查询均由后端进程处理。该后端由五个子系统组成：

1.解析器：  
解析器从纯文本的 SQL 语句创建解析树。它仅检查语句的语法，如果发现语法错误则返回错误。它不检查查询的语义正确性，例如查询中是否使用了不存在的表名。

1.  分析仪/分析仪：  
    分析器对解析树执行语义分析以创建查询树，如果发现语义错误则返回错误。查询树包含查询的元数据，例如命令类型（SELECT、INSERT 等）以及保存各个特定子句数据的叶子。

3.重写器：  
如果pg\_rules系统目录中的规则系统中存储有规则，重写器将使用它们来转换查询树。

1.  策划者：  
    规划器生成可以最有效地从查询树执行的计划树。它纯粹基于基于成本的优化，不处理任何基于规则的优化。它是 PostgreSQL 中最复杂的子系统，在后面的章节中将更详细地介绍。

5、执行人：  
执行器按照计划器提供的计划树中存储的顺序使用表和索引执行查询，然后按照概述的步骤检索实际数据。它与缓冲区管理器、存储管理器、索引访问方法等子系统交互，以高效地访问和处理数据，确保计划的正确高效执行。

单表查询的成本估算  
PostgreSQL 中的查询优化基于成本，这是一个无量纲值。成本不是绝对的绩效指标，而是用于比较运营的相对绩效。成本由costize.c  
中定义的函数估计。所有操作都有相应的成本函数，例如顺序扫描的成本由cost\_seqscan()函数估计。 PostgreSQL 中存在三种成本：

启动：检索第一个元组之前花费的成本  
run：检索所有元组所花费的成本  
总计：启动成本和运行成本之和  
EXPLAIN命令可用于查看每个操作的启动和运行成本。

顺序扫描  
顺序扫描的成本使用以下公式计算：

run\_cost = (cpu\_tuple\_cost + cpu\_operator\_cost) \* Ntuple + seq\_page\_cost \* Npage

其中 seq\_page\_cost、cpu\_tuple\_cost 和 cpu\_operator\_cost 在 postgresql.conf 文件中设置。

索引扫描  
cost\_index ()函数用于计算索引扫描的总成本。如上所述，总成本是执行索引扫描的启动成本和运行成本之和。

种类  
排序操作（例如ORDER BY）的成本由cost\_sort()函数计算。如果所有元组都存储在work\_mem中，则使用快速排序算法。如果没有，则创建临时文件并使用文件合并排序算法。

创建单表查询的计划树  
在这里，我们探索为单表查询创建计划树的复杂过程。  
计划树是由代表各种操作及其关系的节点组成的层次结构。我们讨论创建计划树的基本步骤，从确定访问路径到设置扫描节点、应用过滤条件和生成投影信息。我们还介绍了不同的计划节点类型，例如 SeqScan、IndexScan、Filter 和 Projection，并阐明它们在有效执行查询中的作用。

本章通过示例更详细地介绍了这些主题。

执行者如何执行  
在本节中，我们将揭示 Executor 组件的内部工作原理，该组件负责执行生成的计划树。我们检查执行器的结构，它包括初始化阶段和循环阶段。  
在循环阶段，元组被获取、处理并返回给用户。我们深入研究元组处理机制，包括过滤条件的处理、执行投影以及执行各种类型的连接操作。此外，我们还探讨了缓冲区管理器在管理数据页和缓存频繁访问的数据以实现高效查询执行方面所发挥的关键作用。最后，我们阐明了事务管理在确保整个查询执行过程中数据一致性方面的重要性。

加盟运营  
PostgreSQL 支持三种连接操作：嵌套循环连接、合并连接和散列连接。这三种连接方法可以执行所有连接操作，例如 INNER JOIN、LEFT/RIGHT OUTER JOIN、FULL OUTER JOIN 等。

嵌套循环连接  
本节介绍嵌套循环连接算法，该算法使用嵌套循环迭代连接输入并评估连接条件。  
PostgreSQL 支持嵌套循环连接及其五种变体。本节介绍嵌套循环连接、具体化嵌套循环连接、索引嵌套循环连接以及其他变体。

合并连接  
本节讨论合并连接算法，该算法需要预先排序输入并根据连接条件有效地合并它们。  
合并连接只能用于自然连接和等连接。使用initial\_cost\_mergejoin()和final\_cost\_mergejoin()函数估计成本。  
本节介绍的不仅是合并连接，还包括物化合并连接和其他变体。

哈希连接  
哈希连接部分探讨了哈希连接算法，该算法在连接输入上构建哈希表并使用它们来执行连接操作。  
与合并连接一样，这也只能用于自然连接和等连接。它在 PostgreSQL 中的行为根据表的大小而有所不同。如果目标表足够小，PostgreSQL 将实现简单的两阶段内存中哈希连接。否则，将使用带有倾斜方法的混合哈希连接。  
本节介绍内存中哈希联接、带有倾斜的混合哈希联接以及联接访问路径和联接节点。我强烈建议阅读本章，以便更好地理解其中包含的示例和插图。

创建多表查询计划树  
本节重点介绍在 PostgreSQL 中为多表查询创建计划树的过程，并更深入地了解为多表查询创建最佳计划树所涉及的步骤，考虑连接顺序、连接类型和其他因素等因素。规划节点。它包括以下小节：

预处理  
planner.c 中定义的subquery\_planner ()函数调用预处理。以下是多表查询的预处理部分：

规划和转换 CTE  
拉取子查询  
将外连接转换为内连接  
加盟订购  
本节讨论查询计划中连接顺序的重要性，并探讨用于确定表连接顺序的不同策略。

连接类型选择  
在这里，我们根据连接条件和输入数据来检查连接类型的选择，例如内连接、外连接和交叉连接。

其他计划节点  
这里介绍了多表查询处理中涉及的各种其他计划节点，例如聚合、排序和限制/偏移操作。