SGLang

面向大模型与多模态的高性能推理框架，RadixAttention 让多轮对话与结构化输出提速明显。

这是什么、谁该用

SGLang 是一个跑大模型和多模态模型的高性能推理框架。如果你正在把模型部署成服务，尤其是要处理多轮对话、让模型输出严格格式的 JSON、或者做 agent 那类需要反复调用模型的场景，它值得花时间看一眼。它的核心卖点是 RadixAttention——一种对 KV 缓存做前缀共享的调度机制，多轮对话和结构化输出这两类负载提速比较明显。

RadixAttention 到底省在哪

普通推理框架处理请求时，每个请求的 KV 缓存基本各算各的。多轮对话里，前面几轮的内容其实是一样的，但每次都要重算一遍。RadixAttention 用基数树（radix tree）管理缓存，把不同请求的公共前缀识别出来、复用掉。轮次越多、共享前缀越长，省下的计算越多。结构化输出同理——比如让模型按固定 schema 吐 JSON，提示词前缀高度重复，复用效果直接体现在吞吐上。

这套机制对缓存淘汰也做了处理，不是简单 LRU，而是结合树结构做前缀感知的回收，避免把还有用的公共前缀过早踢掉。

用起来是什么样

前端接口贴近 OpenAI 的调用格式，迁移成本不高。支持张量并行、流水线并行这些常见的分布式部署方式，也支持量化推理。多模态这块能接图像输入，不是只做纯文本。

几个实际会碰到的点：

• 结构化输出有专门的约束解码支持，按正则或 JSON schema 限制生成，不用自己写后处理去修格式
• 前后端分离，前端负责调度和缓存管理，后端专注计算，适合把调度逻辑和不同硬件后端解耦
• 社区活跃，文档在 https://docs.sglang.ai/ 上，示例代码和部署脚本给得比较全

适合谁、不适合谁

适合已经在做模型服务化、被多轮对话延迟或结构化输出吞吐卡住的人。如果你的场景是单轮、短提示、低并发，RadixAttention 的收益有限，用更轻的方案就行。它偏工程部署侧，不是训练框架，也不解决模型效果问题——它只让你把已有的模型跑得更快、更省。

常见问题

SGLang 是什么？

面向大模型与多模态的高性能推理框架，RadixAttention 让多轮对话与结构化输出提速明显。

SGLang 的官方网站是什么？

SGLang 的官方网站是 https://docs.sglang.ai/，可直接在浏览器中打开使用。