大模型推理

H100 的显存升级版本，搭载 141GB HBM3e 显存与更高带宽，显著提升大模型推理吞吐与长上下文场景下的表现。

开源的 C/C++ 大模型推理框架，支持 CPU 与多平台量化推理，是本地部署开源模型的常用底座。

AMD 数据中心 AI 加速卡，配备 192GB HBM3 显存与 CDNA 3 架构，以高显存容量优势在大模型推理与训练场景快速崛起。

亚马逊自研推理加速芯片，面向云端大模型推理优化单位成本，适合高并发、低延迟的生成式 AI 在线服务部署。

MI300X 的升级型号，将 HBM3e 显存提升至 256GB 并提高带宽，进一步强化大模型推理与长上下文处理的性价比。

可重构数据流架构 AI 芯片，单机架支持超大模型推理，提供从芯片到系统的全栈方案，主打企业级私有部署。

为虚拟角色提供语音对话能力的平台，开发者可为数字人接入实时语音识别、大模型推理与动作驱动。