深度剖析：GPU 的工作原理全解析

在当今科技飞速发展的时代，AI、HPC 领域呈现出爆发式增长态势，GPU 加速计算已然成为推动科学研究不断向前的核心力量。在天文学中，GPU 加速的 AI 能够处理海量的天体观测数据，帮助科学家发现遥远星系中的奥秘；在物理学领域，它助力解决复杂的量子物理问题。今天，我们就来深入探讨一下 GPU 的工作原理。

我们知道，任何处理器内部都是由三部分组成，分别为算术逻辑单元（ALU）、控制单元和缓存。但CPU（Central Processing Unit）和GPU（Graphics Processing？Unit）是两种不同类型的计算机处理器。

简单来说，CPU更善于一次处理一项任务，而且GPU则可以同时处理多项任务。这是因为CPU是为延迟优化的，而GPU则是带宽优化的。就好比有些人善于按顺序一项项执行任务，有些人可同时进行多项任务。

为了更形象地理解，我们可以把 CPU 比作一辆摩托车赛车，它在单次运送任务中速度极快；而 GPU 则如同大巴车，虽然单次运送时间可能较长，但在运送大量人员时效率更高。在处理图像处理、动漫渲染、深度学习等需要大量重复工作负载的任务时，GPU 的优势就会更加明显。CPU 是集各种运算能力于一身的大成者，其调度、管理和协调能力出色，能进行复杂的逻辑运算，但由于运算单元和内核数量有限，只适合处理相对少量的运算。GPU 无法独立工作，它就像一群接受 CPU 调度的流水线员工，适合进行大量简单的运算。CPU 和 GPU 功能互补，通过协同工作，能够实现最佳的计算性能。

FLOPS（每秒浮点运算次数）常被用作衡量计算机性能的指标，但实际上它并非核心问题。虽然一些专家或特定算法会关注 FLOPS，但对于大众而言，它并不是关注的焦点。以 CPU 为例，其运算速度与内存提供数据的速度往往不匹配，容易陷入 “内存带宽限制” 模式。大多数程序在实际运行中都会受到内存带宽的限制，因为很少有算法能在每次数据加载时完成足够多的运算来充分利用硬件性能。而 GPU 虽然每一代在增加 FLOPS 方面的速度超过了增加内存带宽的速度，导致计算强度不断上升，给算法编程带来挑战，但它通过配备更高带宽的内存来保持平衡。

延迟是影响处理器性能的关键因素之一。从基础运算操作 “ax + y” 来看，数据加载过程中的等待时间就是延迟，这会导致计算效率低下。由于物理定律的限制，电信号在芯片内传输需要时间，尤其是从内存中获取数据时，往返传输可能需要十到二十个时钟周期。以 Xeon 8280 CPU 为例，其内存延迟导致效率低下，即使拥有高带宽内存，也难以充分发挥优势。程序受到延迟绑定的影响，使得计算单元无法充分忙碌起来。

为了解决延迟问题，需要引入并发机制。GPU 编译器的循环展开优化手段可以提高执行效率，但受限于硬件能够同时跟踪的操作数量。此时，硬件所能支持的最大线程数就显得尤为重要。GPU 拥有大量的线程，远超过实际运算所需，这种 “超量订阅” 设计确保了即使某些线程在等待内存操作完成，仍有其他线程可以继续执行。GPU 被设计为 “吞吐量机器”，侧重于增加线程数量；而 CPU 则是 “延迟机器”，更注重减少延迟。

GPU 为每个线程分配了大量的寄存器来存储实时数据，以实现低延迟。它需要靠近计算核心的快速且大容量的内存，用于存储进行有用计算所需的所有数据。GPU 的主内存是高带宽的 HBM 内存，L2 缓存带宽是其五倍，L1 缓存（共享内存）更是快了 13 倍。不同内存层所需的计算强度不同，L1 缓存所需的计算强度最低，因此如果能从缓存中读取数据，将大大提升性能。此外，PCIe 的带宽有限且延迟大，而 NVLink 在性能上更接近主内存，是芯片之间和 GPU 之间更优的互连方式。

为了更直观地理解 GPU 的工作原理，我们可以通过一个形象的例子来说明。假设一个人住在旧金山，在圣克拉拉工作，他有开车和坐火车两种上班方式。开车速度快，但只能载少数人，效率不高；火车则可以搭载很多人，并且能在多个站点停靠，是一种吞吐量机器。GPU 就如同火车系统，其设计初衷是能够处理远超一次运行量的任务。如果火车没有满载，就意味着没有充分利用运输能力；对于 GPU 来说，也是如此，它需要保持忙碌状态才能发挥最佳性能。而 CPU 更像延迟机器，希望每个线程尽快完成任务，任务过多会导致系统停滞。

由于整个系统基于吞吐量设计，GPU 通常会超量订阅资源，这就要求我们必须考虑异步性。CPU 和 GPU 是独立的处理器，它们可以同时处理不同的任务。如果 CPU 和 GPU 相互等待，会导致整个系统效率下降。异步性能够让所有处理器都保持工作状态，提高系统的整体效率。

在 GPU 上进行并行处理时，通常会将任务分解为多个工作块。例如，在训练 AI 识别互联网上的猫时，会在猫的图片上覆盖网格，将图片分割成许多独立的工作块。每个工作块中有多个线程协同工作，它们可以共享数据并并行运行，从而实现高效的并行处理。工作以网格形式运行，进一步分解为线程块，所有块独立调度，这种 “过度订阅” 模式结合了最佳的运算方式，既保证了机器的忙碌状态，又提供了所需的吞吐量，同时允许线程之间进行必要的交互。

综上所述，GPU 通过大量线程、超量订阅、独特的编程模型等方式来对抗延迟，实现高效工作。如今，NVIDIA GPU 已经取得了显著的成功，但当前面临着带宽限制的挑战，这也将是未来 NVIDIA 研发的重点方向。