NVIDIA H100 Tensor Core GPU

基于 Hopper 架构的数据中心 AI 加速卡，配备 Transformer 引擎与 HBM3 显存，是大模型训练与推理的行业标杆，被全球主流云厂商广泛部署。

它到底是什么

NVIDIA H100 是一块装在数据中心服务器里的 GPU 加速卡，专门干一件事：把大模型的训练和推理跑得更快。如果你所在的团队正在训百亿参数以上的模型，或者线上推理的延迟和成本压不下来，这块卡基本就是当前绕不开的选项。全球主流云厂商——AWS、Azure、Google Cloud、阿里云、腾讯云等——都已经批量部署，租得到，也买得到。

为什么训练大模型它更合适

H100 基于 Hopper 架构，核心变化是第四代 Tensor Core 加上一个叫 Transformer 引擎的东西。大模型训练里最耗时的注意力计算和矩阵乘，它能用 FP8 精度跑，在保持模型效果基本不掉的前提下，把吞吐量拉高一大截。显存是 HBM3，单卡 80GB，带宽约 3.35TB/s——这个数字直接决定了你能塞多大的模型、batch size 能开多大。显存带宽不够的时候，GPU 算得再快也得干等数据，H100 在这块给得比较足。

互联方面，卡间走 NVLink，单卡带宽 900GB/s，多卡组成训练集群时通信瓶颈小很多。再配合 NVSwitch 和 InfiniBand 网络，上千卡规模的集群也能撑起来，这也是为什么大厂的大模型训练集群普遍选它。

几个实际会关心的点

• 精度支持：FP64、FP32、TF32、BF16、FP16、FP8 全覆盖，训练用 BF16/FP8，推理可以进一步量化压缩。
• 形态：有 SXM 和 PCIe 两种，SXM 版本配合 HGX 平台做高密度多卡互联，PCIe 版本更适合常规服务器插卡升级。
• 功耗：SXM 版本 TDP 到 700W，机房供电和散热要提前算好账，不是随便一台机器插上就能跑。
• 软件生态：CUDA、cuDNN、TensorRT、NeMo 这一套是现成的，主流框架 PyTorch、TensorFlow 都原生支持，迁移成本低。

谁该考虑它

训练侧，做基础模型、垂直大模型预训练的团队；推理侧，对延迟敏感、QPS 高的在线服务。如果只是跑中小模型或者做实验，租云上的 H100 按小时计费往往比自建划算。真要大规摸长期用，再考虑自购或包年。具体规格和部署方案，官网 https://www.nvidia.com/en-us/data-center/h100/ 有完整的技术文档可查。

常见问题

NVIDIA H100 Tensor Core GPU 是什么？

基于 Hopper 架构的数据中心 AI 加速卡，配备 Transformer 引擎与 HBM3 显存，是大模型训练与推理的行业标杆，被全球主流云厂商广泛部署。

NVIDIA H100 Tensor Core GPU 的官方网站是什么？

NVIDIA H100 Tensor Core GPU 的官方网站是 https://www.nvidia.com/en-us/data-center/h100/，可直接在浏览器中打开使用。