Chapter 34. GPU Flow-Control Idioms
CPU和GPU的最大差别就是,GPU比CPU多了很多ALU以及核心,并删掉了一些东西。从单核角度来看,GPU像是简单版的CPU,但GPU的核心非常多,这就导致了GPU在处理并行计算的时候是比CPU强很多的。

我们将上面的CPU“改造”成GPU:

为什么要这样改造?
我们可以看到,GPU仅仅只保留了解码单元(Fetch/Decode)、数学逻辑运算单元(ALU)、执行上下文(Execution Context)三个部分,这样可以加速GPU核心执行一条指令的速度。由于GPU核心的架构更加简单,所以在同样大小的物理面积上,可以塞下更多的GPU核心。

另一个可以加速程序运行的方式就是在多个ALU之间来分摊一条指令的开销,这样的技术也被称为SIMD(Single Instruction Multiple Data)
SIMD(Single Instruction Multiple Data)即单指令流多数据流,是一种采用一个控制器来控制多个处理器,同时对一组数据(又称“数据向量”)中的每一个分别执行相同的操作从而实现空间上的并行性的技术。简单来说就是一个指令能够同时处理多个数据。
所以现在,我们的GPU核心被设计成了如下的状态:

我们可以看到,在一个GPU核心中,不止一个ALU单元了。以上图所示,假设我们的GPU具有16个核心,每个核心中具有8个ALU单元,那么我们可以一次同时处理128个片元。

在Shader和CUDA中,我们有一条约束规定: