NVIDIA DGX H100

英伟达企业级 AI 超级计算机，单机集成 8 颗 H100 GPU 与 NVSwitch 互联，开箱即用的大模型训练与推理一体化平台。

一台机器装下八颗 H100，它到底解决什么问题

大模型训练最麻烦的地方往往不在算法，而在把几百上千颗 GPU 连成一台能稳定跑几个月的机器。NVIDIA DGX H100 就是把这个活儿打包成一台整机：单机集成 8 颗 H100 GPU，通过 NVSwitch 做全互联，出厂预装好驱动、集群管理软件和常用 AI 框架，插上电、接上网络就能开始训练或推理。它面向的是有明确 AI 落地需求的企业和科研机构——想自己跑大模型微调、做私有化推理部署，或者需要一套稳定的多机扩展底座，而不是从零攒卡、调互联、踩驱动的坑。

八颗 GPU 怎么连，决定了它能跑多大的模型

8 颗 H100 之间不是靠 PCIe 勉强通信，而是走第四代 NVSwitch，GPU 两两之间都是高带宽直连，单机内部带宽达到 900GB/s 量级。这意味着在单机范围内做张量并行、流水并行时，通信不会成为瓶颈。每颗 H100 配 80GB HBM3 显存，整机合计 640GB，配合 NVLink 互联，可以承载千亿参数级别模型的训练与推理任务。机器还集成了 BlueField-3 DPU 和 ConnectX-7 网卡，多机扩展时走 InfiniBand 或以太网都能接得上，不用另外配网络方案。

开箱即用，省的是时间不是钱

DGX H100 的溢价主要买的是「确定性」。NVIDIA 自家的 DGX OS、集群管理工具和 NGC 容器镜像库都是预调好的，主流框架如 PyTorch、TensorFlow、Megatron-LM 的优化版本直接可用，企业不用再花几周时间做兼容性验证。对运维团队来说，统一的固件和驱动版本、原厂支持的整机保修，比一堆散装 GPU 服务器拼起来的集群省心得多。当然，它的采购成本不低，适合已经把 AI 当作核心生产力、而不是做实验性尝试的团队。

什么人该认真考虑它

如果你在做基础大模型预训练、行业模型微调，或者要搭建对延迟和吞吐都有要求的推理服务，并且团队里没有专门折腾硬件的工程力量，DGX H100 是省事的选择。反过来，如果只是跑中小规模模型、预算敏感，或者已经有成熟的 GPU 集群运维体系，单买 H100 卡自己组集群可能更划算。它的定位很清楚：把复杂留给自己，把可用性交给用户。

常见问题

NVIDIA DGX H100 是什么？

英伟达企业级 AI 超级计算机，单机集成 8 颗 H100 GPU 与 NVSwitch 互联，开箱即用的大模型训练与推理一体化平台。

NVIDIA DGX H100 的官方网站是什么？

NVIDIA DGX H100 的官方网站是 https://www.nvidia.com/en-us/data-center/dgx-h100/，可直接在浏览器中打开使用。