NVIDIA H200 Tensor Core GPU

H100 的显存升级版本，搭载 141GB HBM3e 显存与更高带宽，显著提升大模型推理吞吐与长上下文场景下的表现。

这块卡是给谁用的

一句话说清楚：H200 就是 H100 换了个更大的显存池。GPU 核心架构没动，还是 Hopper，算力参数跟 H100 基本一致，变的是显存——从 80GB HBM3 拉到 141GB HBM3e，带宽从 3.35TB/s 提到 4.8TB/s。就这么一个改动，决定了它适合谁、不适合谁。

如果你的活儿是训练中等规模模型、跑常规推理，H100 够用，H200 带来的提升有限，没必要为显存多掏钱。但如果你的场景卡在显存上——大模型推理要装下更大的 KV Cache、长上下文动辄几十万 token、或者单卡想塞下更大的模型权重——那 H200 基本就是当前最省事的选择，不用改代码，不用重新调优，换上去吞吐就上来了。

显存大了，到底解决什么问题

大模型推理的瓶颈很多时候不在算力，在显存。以 700 亿参数级别的模型为例，权重本身就要占掉相当一部分显存，剩下的空间才留给 KV Cache——也就是模型记住上下文用的那部分。上下文越长、并发请求越多，KV Cache 涨得越快。H100 的 80GB 在长上下文场景下很容易被撑满，结果就是要么限制并发，要么截断上下文。

H200 的 141GB 把这块空间放大了约 76%，加上 HBM3e 更高的带宽，数据搬运的等待时间也短了。实际效果是：同样一张卡，能同时服务的请求更多，能处理的上下文更长，推理吞吐随之提升。NVIDIA 官方给的数据里，Llama2 70B 这类模型的推理吞吐提升相当明显，长上下文场景下差距更大。

几个值得知道的细节

• 和 H100 引脚兼容：同样的 HGX 平台、同样的系统设计，现有 H100 集群可以直接换装，这对已经建好机房的人来说省了很多事。
• 显存是 HBM3e，不是 HBM3：带宽从 3.35TB/s 到 4.8TB/s，提升约 43%，对大模型的访存密集型负载帮助直接。
• 算力没变：FP8、FP16 这些计算指标跟 H100 一样。所以别指望它在纯计算密集、显存不吃紧的任务上有质变。
• NVLink 和互联能力保持 Hopper 代水平：多卡组网、跨节点通信的方案跟 H100 体系一致。

该不该选它

判断标准其实很朴素：先看你的模型和上下文长度会不会把 80GB 撑爆。会，就上 H200；不会，H100 或者更便宜的方案更划算。另一个考虑是采购周期和供应——H200 作为 H100 的显存升级版，定位是补位而不是替代，具体怎么配得看你的集群规划和预算。

对做长上下文应用、大模型在线服务、或者单卡部署大参数模型的团队来说，这 61GB 的显存增量，往往比多堆几张卡来得实在。

常见问题

NVIDIA H200 Tensor Core GPU 是什么？

H100 的显存升级版本，搭载 141GB HBM3e 显存与更高带宽，显著提升大模型推理吞吐与长上下文场景下的表现。

NVIDIA H200 Tensor Core GPU 的官方网站是什么？

NVIDIA H200 Tensor Core GPU 的官方网站是 https://www.nvidia.com/en-us/data-center/h200/，可直接在浏览器中打开使用。