NVIDIA HGX 平台

英伟达 GPU 服务器参考平台，为主流服务器厂商提供 4 卡或 8 卡 GPU 基板与互联方案，是 AI 服务器的事实标准。

HGX 是英伟达面向 AI 与高性能计算场景推出的 GPU 服务器参考架构，它并非一款可直接购买的整机产品，而是一套包含基板、互联拓扑、散热与供电规范的标准化设计蓝图。全球主流服务器厂商（如戴尔、惠普企业、联想、超微等）均基于该平台推出自有品牌的 AI 服务器，因此 HGX 事实上定义了当前 AI 算力基础设施的硬件基准。

核心组成与形态

HGX 平台以 GPU 基板（Baseboard）为核心，当前主流配置分为两种：

| 形态 | GPU 数量 | 典型互联 | 适用场景 |

|------|----------|----------|----------|

| HGX 4-GPU | 4 颗 | NVLink 全互联 | 推理、中小规模训练、虚拟化 |

| HGX 8-GPU | 8 颗 | NVLink 全互联 + NVSwitch | 大规模训练、多模态模型 |

基板上集成了 GPU、NVLink 互联芯片、显存与电源管理模块，服务器厂商只需围绕该基板设计 CPU 主板、机箱、散热与存储子系统即可快速量产，大幅降低了 AI 服务器的研发门槛。

关键技术特性

• NVLink 高速互联：GPU 间直连带宽远超 PCIe，8 卡 HGX 可实现 900 GB/s 以上的聚合双向带宽，满足大模型张量并行与数据并行的通信需求。
• NVSwitch 全交叉开关：8 卡版本内置 NVSwitch 芯片，确保任意 GPU 对之间具备对等带宽，避免多卡通信时的拥塞瓶颈。
• 统一显存寻址：所有 GPU 的显存可被视作统一内存池，简化了大规模矩阵运算的数据切分逻辑。
• 模块化升级路径：HGX 基板独立于 CPU 平台，用户可在不更换整机的情况下，按代际升级 GPU 基板（如从 Hopper 架构升级到 Blackwell 架构）。

适用场景与选型建议

• 大语言模型训练：8 卡 HGX 是千亿参数以上模型的主流训练单元，建议搭配 InfiniBand 组网构建大规模集群。
• 企业级推理服务：4 卡 HGX 在吞吐与功耗间取得平衡，适合高并发、低延迟的在线推理场景。
• 科学计算与仿真：NVLink 的高带宽对分子动力学、流体力学等强耦合计算任务收益明显，但需确认应用是否支持多卡通信优化。

实际采购注意事项

1. HGX 平台本身不含 CPU、内存、硬盘等组件，需向服务器厂商购买整机或准系统。
2. 确认供电与散热方案：8 卡 HGX 整机功耗通常在 10kW 以上，需配套液冷或高密度风冷机柜。
3. 软件栈兼容性：确保所选操作系统、CUDA 版本与 HGX 基板固件（如 NGC 容器镜像）匹配。
4. 网络瓶颈：单机算力再强，跨节点通信仍依赖外部网络，需同步规划高速以太网或 InfiniBand 架构。

对于计划构建 AI 算力基础设施的团队，HGX 平台是当前最成熟、生态兼容性最好的选择。建议根据实际模型规模与预算，优先从 4 卡 HGX 起步验证，再向 8 卡集群扩展。若仅需单卡推理或轻量训练，则无需选用 HGX 平台，可考虑 RTX 系列或 L4 等低功耗方案以降低成本。

常见问题

NVIDIA HGX 平台 是什么？

英伟达 GPU 服务器参考平台，为主流服务器厂商提供 4 卡或 8 卡 GPU 基板与互联方案，是 AI 服务器的事实标准。

NVIDIA HGX 平台 的官方网站是什么？

NVIDIA HGX 平台 的官方网站是 https://www.nvidia.com/en-us/data-center/hgx/，可直接在浏览器中打开使用。