Introduction-to-GPUs.pdf

Chapter 34. GPU Flow-Control Idioms

CPU vs GPU

CPU和GPU的最大差别就是,GPU比CPU多了很多ALU以及核心,并删掉了一些东西。从单核角度来看,GPU像是简单版的CPU,但GPU的核心非常多,这就导致了GPU在处理并行计算的时候是比CPU强很多的。

Untitled

我们将上面的CPU“改造”成GPU:

Untitled

为什么要这样改造?

Idea 1 - 移除不必要的部分

我们可以看到,GPU仅仅只保留了解码单元(Fetch/Decode)、数学逻辑运算单元(ALU)、执行上下文(Execution Context)三个部分,这样可以加速GPU核心执行一条指令的速度。由于GPU核心的架构更加简单,所以在同样大小的物理面积上,可以塞下更多的GPU核心。

Untitled

Idea 2 - 在许多的ALU之间来分摊一条指令的开销(SIMD)

另一个可以加速程序运行的方式就是在多个ALU之间来分摊一条指令的开销,这样的技术也被称为SIMD(Single Instruction Multiple Data)

SIMD(Single Instruction Multiple Data)即单指令流多数据流,是一种采用一个控制器来控制多个处理器,同时对一组数据(又称“数据向量”)中的每一个分别执行相同的操作从而实现空间上的并行性的技术。简单来说就是一个指令能够同时处理多个数据。

所以现在,我们的GPU核心被设计成了如下的状态:

Untitled

我们可以看到,在一个GPU核心中,不止一个ALU单元了。以上图所示,假设我们的GPU具有16个核心,每个核心中具有8个ALU单元,那么我们可以一次同时处理128个片元。

Untitled

GPU的分支问题

在Shader和CUDA中,我们有一条约束规定: