vLLM

开源大模型推理引擎，通过分页注意力等优化显著提升吞吐量，广泛用于生产环境模型服务部署。