「你的 LLM 评测在说谎」：温度0跑千次得80种答案
Irem Ergun 于 10 月 30 日以推文串发布长文《Your LLM Evaluation Is Lying to You》，内容整理自其在 AI Connect Istanbul 的同名演讲。文章的核心判断是：几乎人人都能上线 LLM 功能，但很少有人能证明它有效；她列出评测报告会骗人的四个来源，并为每个来源给出对应的廉价检测习惯，全部附上参考来源与可运行代码（支持命令行参数）。
已确认
- 温度 0 并非确定性：同一问题在 temperature 0 下跑 1000 次可得到 80 种不同答案（作者以 Qwen3 为例），意味着单次评测结果不可靠。
- 评测波动远大于常见"提升"：作者展示了 5 次评测结果在 73%93% 之间波动的案例，提醒不要把随机波动当作真实改进。
- 基准饱和与污染严重：其引用的研究考察了 60 个基准，近一半已经饱和；OpenAI 因前沿模型能复现（泄漏的）SWE-bench 类基准内容而弃用部分基准。
- "It works" 不等于任务成功：这是作者指出的 agent 评测四个常见误区之一。工具调用全部正确任务仍可能失败；答案正确也可能来自反复循环烧 token。正确做法是对整条轨迹打分，维度包括工具调用正确性、任务完成度、步骤效率与计划遵循度。
- 语言特例坑翻评分器：作者补充土耳其语案例——Python 中 "İSTANBUL".lower() 返回的并不是 "istanbul"，因此使用精确匹配的评分器可能把正确的土耳其语答案误判为错误。
为什么重要
- 评测是企业判断 LLM 功能是否有效的唯一依据，而温度 0 的非确定性与轨迹盲区的打分方式会让团队高估系统可靠性、误读迭代效果。
- 作者提供的方案强调"廉价"：不用大规模重跑，只需用多次采样、轨迹级打分和语言感知的匹配器等低成本习惯即可显著提高评测可信度。
2026-10-30 ~ 2026-10-30 · 5 条相关
一手来源
- 「你的 LLM 评测在骗你」:temperature 0 跑 1000 次得 80 种答案 — irombie ·
- 你的 LLM 评测可能在说谎:四种失效方式与廉价纠错习惯 — irombie ·
- 「你的 LLM 评测在说谎」:温度 0 也非确定性,Qwen3 跑 1000 次得 80 种回答 — irombie ·
- 【源头】你的 LLM 评测可能在说谎:四种失效方式与廉价纠错习惯 — irombie · 2026-10-30
- 5 次评测 73%~93%:LLM 评估的波动远大于你的「提升」 — irombie · 2026-10-30
- 【源头】「你的 LLM 评测在说谎」:温度 0 也非确定性,Qwen3 跑 1000 次得 80 种回答 — irombie · 2026-10-30
- 【源头】「你的 LLM 评测在骗你」:temperature 0 跑 1000 次得 80 种答案 — irombie · 2026-10-30
- 土耳其语坑翻 LLM 评测:"İSTANBUL".lower() 并不等于 "istanbul" — irombie · 2026-10-30