NVIDIA GB200 NVL72

机架级 AI 计算单元，将 72 颗 Blackwell GPU 与 Grace CPU 通过高速互联整合为单一计算域，专为超大模型训练设计。

一台机柜就是一台计算机

GB200 NVL72 干的事说白了很简单：把 72 颗 Blackwell GPU 和 36 颗 Grace CPU 塞进同一个机柜，用高速互联把它们连成一个整体，对外表现得像一台机器。传统做法是买一堆服务器，靠网络把它们拼起来训练模型，节点之间通信要走网卡、交换机，延迟和带宽都是瓶颈。NVL72 把这层网络搬进了机柜内部，GPU 之间用 NVLink 直连，单颗 GPU 能访问其他 GPU 显存时的带宽达到 1.8 TB/s，整个机柜的 NVLink 域带宽是 130 TB/s。对训练超大模型来说，这解决的是实打实的痛点：模型并行时频繁的梯度同步和激活值传输，不再被机柜间的网络拖住。

谁该看这个

不是所有人都需要它。如果你在训千亿参数以上的模型、做大规模并行训练、或者推理场景对延迟极其敏感，这台东西值得认真评估。反过来说，中小规模模型、单机八卡能搞定的任务，上 NVL72 属于杀鸡用牛刀，成本和功耗都不划算。它面向的是超大规模训练集群的构建者，尤其是那些被跨节点通信卡住、GPU 利用率上不去的团队。

几个值得知道的数字

整个机柜的配置大致是这样：

13.4 TB 的显存池意味着什么？一个万亿参数级别的模型，用低精度格式可以整个装进这个计算域里，不用再拆到多个节点上反复搬运参数。FP4 精度下的 1.4 EFLOPS 则是为推理和低精度训练准备的，Blackwell 在这一代把 FP4 做成了原生支持。

它改变了什么

以前训练大模型，工程上很大一块精力花在「怎么让节点之间少通信」上——各种并行策略的切分、通信与计算的重叠、拓扑感知的调度。NVL72 的思路是把通信域做大到机柜级别，让这些优化的一部分变得不那么必要。当然它不是万能药，机柜之间仍然要靠网络互联，超大规模集群还是得面对跨机柜通信的问题。但在单机柜这个尺度上，它把「多台服务器」变成了「一台计算机」，这对训练框架的设计和运维复杂度都是实质性的简化。

想了解具体规格和部署方式，官方页面在 https://www.nvidia.com/en-us/data-center/gb200-nvl72/ 。

常见问题

NVIDIA GB200 NVL72 是什么？

机架级 AI 计算单元，将 72 颗 Blackwell GPU 与 Grace CPU 通过高速互联整合为单一计算域，专为超大模型训练设计。

NVIDIA GB200 NVL72 的官方网站是什么？

NVIDIA GB200 NVL72 的官方网站是 https://www.nvidia.com/en-us/data-center/gb200-nvl72/，可直接在浏览器中打开使用。