LMSYS Chatbot Arena

大模型匿名对战评测平台，可对比不同模型的回答质量并查看公开排行榜。

LMSYS Chatbot Arena（lmarena.ai）是一个面向大语言模型的匿名对战评测平台，核心功能是让用户提交提示词，由两个未知模型生成回答，用户根据质量投票选出更优者。平台基于这些投票数据构建公开排行榜，反映模型在真实人类偏好下的相对表现。

平台定位与价值

• 匿名对战机制：用户输入问题后，系统随机匹配两个模型，隐藏身份输出结果，避免品牌偏见影响判断
• 众包评测数据：不同于传统基准测试（如MMLU、GSM8K）依赖固定题库，该平台收集真实用户自然语言查询，覆盖多语言、多领域场景
• 动态排行榜：Elo评分系统（类似国际象棋等级分）根据对战结果持续更新模型排名，数据实时公开

核心功能模块

| 功能 | 说明 |

|------|------|

| 对战评测 | 自由输入提示词，对比两个匿名模型回答，投票后揭晓模型身份 |

| 公共排行榜 | 按类别（整体、编码、数学、创意写作等）筛选排名，支持查看历史趋势 |

| 模型竞技场 | 查看单个模型的近期战绩、胜率、置信区间等统计指标 |

| 数据分析 | 提供下载原始投票数据接口，供研究者复现或二次分析 |

适用场景

• 技术选型参考：企业在选择模型时，可查看特定任务类别（如中文、代码生成）下的排名差异
• 模型能力观察：通过实际案例对比，直观感受不同模型在逻辑推理、上下文理解、风格适配上的区别
• 研究数据获取：学术界可引用其公开数据集，用于分析人类对模型输出的偏好规律

使用注意事项

• 评测结果受用户群体构成影响，样本偏向技术爱好者，不代表全人群偏好
• 匿名对战无法完全排除“作弊”可能（如模型被针对性优化），但平台会定期清理异常投票
• 排行榜更新频率较高，查看时建议确认数据快照时间

快速上手建议

1. 直接进入对战页面，输入一个你实际工作中遇到的问题（而非测试题），体验评测流程
2. 查看排行榜时，关注你关心的任务类别的子榜单，而非总榜
3. 若需引用数据，优先使用平台提供的API或导出功能，避免手动采集

该平台的价值在于将模型评测从“实验室指标”转向“真实用户反馈”，适合作为模型选型时的辅助参考，但不宜作为唯一决策依据——建议结合业务场景自建测试集交叉验证。

常见问题

LMSYS Chatbot Arena 是什么？

大模型匿名对战评测平台，可对比不同模型的回答质量并查看公开排行榜。

LMSYS Chatbot Arena 的官方网站是什么？

LMSYS Chatbot Arena 的官方网站是 https://lmarena.ai，可直接在浏览器中打开使用。