Langfuse

开源的 LLM 可观测性平台，提供调用追踪、提示管理与评测功能，支持自托管并兼容 OpenTelemetry。

Langfuse 是一个面向 LLM 应用的开源可观测性平台，核心解决的是开发与生产环境中「模型调用黑盒」问题。它通过追踪、提示管理和评测三大模块，帮助团队在自托管或云环境中完成从调试到监控的全流程覆盖。

核心功能拆解

| 模块 | 主要能力 | 适用场景 |

|------|----------|----------|

| 调用追踪 | 记录每次 LLM 请求的输入/输出、Token 消耗、延迟及元数据，支持多级 trace 树 | 定位错误响应、分析成本异常、复现对话上下文 |

| 提示管理 | 版本化提示词模板，支持环境隔离（开发/预发/生产）与一键回滚 | 团队协作迭代 prompt，避免「改完无法追溯」 |

| 评测体系 | 内置离线评估与在线反馈采集，支持自定义评分规则 | 对比模型版本效果、验证 prompt 改动影响、建立回归测试集 |

关键设计优势

• OpenTelemetry 原生兼容：无需额外 SDK 即可接入现有监控体系，降低迁移成本
• 自托管灵活性：提供 Docker Compose 与 Kubernetes 部署方案，数据完全私有化，适合金融、医疗等敏感行业
• 轻量级集成：支持 Python/JS 主流框架（LangChain、LlamaIndex 等），通过装饰器或中间件即可启用
• 成本可视化：按项目、模型、用户维度聚合 Token 消耗，辅助预算分配与异常告警

适用团队画像

• 技术团队：需要快速定位生产环境中的 prompt 注入、格式错误或上下文溢出问题
• 算法团队：需要对比不同模型（如 GPT-4 vs 开源模型）在特定任务上的表现差异
• 业务团队：需要量化 LLM 功能的使用率与成本，用于内部结算或对外报价

部署与上手建议

1. 小规模试用：使用官方云服务（免费额度）验证功能匹配度，无需先部署
2. 自托管起步：单机 Docker 部署即可满足日请求量低于 10 万次的场景
3. 逐步深化：先接入追踪功能，再逐步启用评测与提示管理，避免一次性改造过大

局限性说明

• 社区版不含 SSO、审计日志等企业级功能，需购买商业版
• 评测模块的自动化能力依赖自定义脚本，无内置「一键跑分」工具
• 对于极高频调用（如每秒千次以上），需要额外配置采样率避免存储成本膨胀

若你的团队正在构建 LLM 应用但缺乏系统性的调试与度量工具，Langfuse 可以作为低成本切入点。建议先以追踪功能为核心跑通一个项目，再评估是否需要扩展到提示管理和评测模块。

常见问题

Langfuse 是什么？

开源的 LLM 可观测性平台，提供调用追踪、提示管理与评测功能，支持自托管并兼容 OpenTelemetry。

Langfuse 的官方网站是什么？

Langfuse 的官方网站是 https://langfuse.com，可直接在浏览器中打开使用。