【GPU架构部分概念】

柔光的暖阳◎ 2023-02-20 02:27 8阅读 0赞

CUDA：Compute Unified Device Architecture。通用并行计算架构，是一种运算平台。它包含CUDA指令集架构以及GPU内部的并行计算引擎。你只要使用一种类似于C语言的CUDA C语言，就可以开发CUDA程序，从而可以更加方便的利用GPU强大的计算能力，而不是像以前那样先将计算任务包装成图形渲染任务，再交由GPU处理。  
注意，并不是所有GPU都支持CUDA。  
Thread：并行运算的基本单位（轻量级的线程）  
Block：由相互合作的一组线程组成。一个block中的thread可以彼此同步，快速交换数据，最多可以同时512个线程。  
Grid：一组Block，有共享全局内存  
Kernel ：在GPU上执行的程序，一个Kernel对应一个Grid。  
在利用CUDA进行编程时，一个Grid分为多个Block，而一个Block分为多个Thread.其中任务划分到是否影响最后的执行效果。划分的依据是任务特性和GPU本身的硬件特性

GPC：Graphics Processing Cluster，图形处理簇

TPC：Texture/Processor Cluster，纹理处理簇

SM：Stream Multiprocessor，流多处理器

SMX：下一代流处理器（SMX）

SMM：NVIDIA在Maxwell架构中进一步改进了ALU团簇，新的团簇方案名称为SMM

WAP：Warp是SM调度和执行的基础概念，GPU执行程序时的调度单位，目前CUDA的Warp的大小为32，同在一个Warp的线程，以不同数据资源执行相同的指令

SP：Streaming Processor，流处理器

Core：核心，每个SM包含许多为线程执行数学运算的Core

ALU：逻辑运算单元

FPU：浮点数单元

SFU：Special Function Unit，特殊函数单元

ROP：Render Output Unit，渲染输出单元，渲染输出单元(ROP)是现代图形处理器（GPU）最后硬件组件，和在渲染过程的最后步骤之一

Load/Store Unit：LD/ST，加载和存储数据

L1 Cache：L1缓存

L2 Cache：L1缓存

Uniform Cache：全局内存缓存

GMU：Grid Management Unit

SIMD：单指令多数据，Single Instruction Multiple Datas

SIMT：单指令多线程，Single Instruction Multiple Threads

MMIO（Memory Mapped IO）：  
CPU与GPU的交流就是通过MMIO进行的。CPU 通过 MMIO 访问 GPU 的寄存器状态。  
DMA传输大量的数据就是通过MMIO进行命令控制的。  
I/O端口可用于间接访问MMIO区域，像Nouveau等开源软件从来不访问它。

GPU Context：  
GPU Context代表了GPU计算的状态。  
在GPU中拥有自己的虚拟地址。  
GPU 中可以并存多个活跃态下的Context。

GPU Channel：  
任何命令都是由CPU发出。  
命令流（command stream）被提交到硬件单元，也就是GPU Channel。  
每个GPU Channel关联一个context，而一个GPU Context可以有多个GPU channel。  
每个GPU Context 包含相关channel的 GPU Channel Descriptors ， 每个 Descriptor 都是 GPU 内存中的一个对象。  
每个 GPU Channel Descriptor 存储了 Channel 的设置，其中就包括 Page Table 。  
每个 GPU Channel 在GPU内存中分配了唯一的命令缓存，这通过MMIO对CPU可见。  
GPU Context Switching 和命令执行都在GPU硬件内部调度。

GPU Page Table：  
GPU Context在虚拟基地空间由Page Table隔离其它的Context 。  
GPU Page Table隔离CPU Page Table，位于GPU内存中。  
GPU Page Table的物理地址位于 GPU Channel Descriptor中。  
GPU Page Table不仅仅将 GPU虚拟地址转换成GPU内存的物理地址，也可以转换成CPU的物理地址。因此，GPU Page Table可以将GPU虚拟地址和CPU内存地址统一到GPU统一虚拟地址空间来。

PCI-e BAR：  
GPU 设备通过PCI-e总线接入到主机上。 Base Address Registers(BARs) 是 MMIO的窗口，在GPU启动时候配置。  
GPU的控制寄存器和内存都映射到了BARs中。  
GPU设备内存通过映射的MMIO窗口去配置GPU和访问GPU内存。

PFIFO Engine：  
PFIFO是GPU命令提交通过的一个特殊的部件。  
PFIFO维护了一些独立命令队列，也就是Channel。  
此命令队列是Ring Buffer，有PUT和GET的指针。  
所有访问Channel控制区域的执行指令都被PFIFO 拦截下来。  
GPU驱动使用Channel Descriptor来存储相关的Channel设定。  
PFIFO将读取的命令转交给PGRAPH Engine。

BO：  
Buffer Object (BO)，内存的一块(Block)，能够用于存储纹理（Texture）、渲染目标（Render Target）、着色代码（shader code）等等。  
Nouveau和Gdev经常使用BO

参考：

[How a GPU Works][]

[深入GPU硬件架构及运行机制][GPU]

[How a GPU Works]: https://www.cs.cmu.edu/afs/cs/academic/class/15462-f11/www/lec_slides/lec19.pdf
[GPU]: https://www.cnblogs.com/timlly/p/11471507.html