AWS EC2 P5 实例

亚马逊云科技 GPU 计算实例，搭载 8 颗 H100 GPU 与高速网络，按需提供大规模大模型训练与推理算力。

一台机器塞进 8 颗 H100，是给谁准备的

如果你正在训练一个几十亿到上千亿参数的大模型，或者要把已经训好的模型跑成线上推理服务，大概率会遇到同一个瓶颈：单卡显存不够，多机通信又慢得让人抓狂。AWS EC2 P5 实例就是冲着这个问题来的。它把 8 颗 NVIDIA H100 Tensor Core GPU 装进一台机器，配 640 GB 高带宽显存，再通过 3.2 Tbps 的 EFA（Elastic Fabric Adapter，弹性网络适配器）网络横向扩展，让多台机器像一台那样协同干活。

一句话概括：需要大规模 GPU 算力、又不想自己搭机房维护集群的团队，直接按需开机器就行。

硬件配置到底给了什么

P5 单实例的规格相当直接：

几个数字值得单独说。NVLink 900 GB/s 意味着 8 颗卡之间的数据交换不走 PCIe，张量并行（tensor parallelism）这类吃通信的切分策略能跑得更顺。GPUDirect RDMA 让网络数据直接进显存，绕开 CPU 和系统内存的搬运，多机训练时这一步省下来的延迟很可观。30 TB 本地 NVMe 则适合放训练数据集和检查点，不至于每一步都去回读远端存储。

实际能用来干什么

最典型的是大语言模型训练。单台 P5 的 640 GB 聚合显存，能撑起相当规模的模型并行；再往上，用 EFA 把几十上百台 P5 连成集群，就是常见的超大规模训练形态。AWS 自家的 EC2 UltraClusters 就是按这个思路搭的，把 P5 实例放进低延迟网络里成片部署。

推理同样适用。H100 对 FP8 的支持让吞吐有明显提升，跑大模型在线服务时，单实例能承载的并发比上一代明显更高。另外，科学计算、分子动力学、渲染这类吃浮点算力的活，P5 也能接。

用起来要注意的几件事

P5 不是开箱就能满血跑的。EFA 网络需要装对应的驱动和 libfabric 配置，多机通信才会真正走高速通道；不然你可能以为自己买的是 3.2 Tbps，实际跑的是普通以太网。GPU 驱动、CUDA、NCCL 的版本也要对齐，这些在深度学习 AMI 里通常已经配好，自己从裸机镜像起步的话得花点时间。

成本上，P5 属于单价高但按秒计费的类型。短时实验、调参、临时扩推理容量都合适，长期常驻则要算算 Savings Plans 和预留实例划不划算。另外热门区域偶尔会有容量紧张，提前规划实例配额比较稳妥。

想了解具体规格、区域可用性和定价，直接看官方页面就行：https://aws.amazon.com/ec2/instance-types/p5/

常见问题

AWS EC2 P5 实例 是什么？

亚马逊云科技 GPU 计算实例，搭载 8 颗 H100 GPU 与高速网络，按需提供大规模大模型训练与推理算力。

AWS EC2 P5 实例 的官方网站是什么？

AWS EC2 P5 实例 的官方网站是 https://aws.amazon.com/ec2/instance-types/p5/，可直接在浏览器中打开使用。