Convai
为虚拟角色提供语音对话能力的平台，开发者可为数字人接入实时语音识别、大模型推理与动作驱动。
排序
llama.cpp
开源的 C/C++ 大模型推理框架，支持 CPU 与多平台量化推理，是本地部署开源模型的常用底座。
SambaNova SN40L
可重构数据流架构 AI 芯片，单机架支持超大模型推理，提供从芯片到系统的全栈方案，主打企业级私有部署。
AWS Inferentia
亚马逊自研推理加速芯片，面向云端大模型推理优化单位成本，适合高并发、低延迟的生成式 AI 在线服务部署。
AMD Instinct MI325X
MI300X 的升级型号，将 HBM3e 显存提升至 256GB 并提高带宽，进一步强化大模型推理与长上下文处理的性价比。
AMD Instinct MI300X
AMD 数据中心 AI 加速卡，配备 192GB HBM3 显存与 CDNA 3 架构，以高显存容量优势在大模型推理与训练场景快速崛起。
NVIDIA H200 Tensor Core GPU
H100 的显存升级版本，搭载 141GB HBM3e 显存与更高带宽，显著提升大模型推理吞吐与长上下文场景下的表现。