「你的 LLM 评测在说谎」:温度 0 也非确定性,Qwen3 跑 1000 次得 80 种回答
irombie · x · 2026-10-30
作者发布长文《Your LLM Evaluation Is Lying to You》,源于其在 AI Connect Istanbul 的演讲,附全部来源和可运行代码。核心观点:几乎人人都能上线 LLM 功能,但很少有人能证明它有效。
关键论据:
- 模型是分布不是函数:Thinking Machines Lab(Horace He)将同一 prompt 在温度 0 下发给 Qwen3-235B 1000 次,得到 80 种不同回答,前 102 个 token 全部一致,第 103 个 token 出现分叉(992 次答 "Queens, New York",8 次答 "New York City");使用 batch-invariant kernels 后 1000 次完全一致,说明波动来自推理服务器而非采样。
- 格式化就能大幅移动准确率:Sclar 等人仅改变分隔符、空格、大小写等保义格式,LLaMA-2-13B 准确率最多移动 76 个点;50+ 任务上的典型波动约 10 个点,仍大于多数人宣称的「提升」。
- 评测波动远大于改进:同评测同模型 5 次跑出 73%93%;温度 0 下 1000 样本有 80 种答案。建议重跑并报告区间,小于波动的变化是方差不是结果。
作者提供完整文章、代码仓库(支持 --mock 模式无需 API key),并邀请读者用 judgeflip.py 测试自己的 judge 是否会翻转。
所属事件:「你的 LLM 评测在说谎」：温度0跑千次得80种答案(5 条相关)→
「编程与Agent」频道最新
- 零 eval 起步没问题:先定 UX,再和领域专家共建评测集 — Al_Grigor · 2026-10-30
- DeepMind 新文：单 agent 评测测不到的「协调」才是经济剧变的开关 — krishnan · 2026-10-30
- Tessl 研究:装对 skill 可提 20% 准确率,但 agent 激活率仅约 40% — bibryam · 2026-10-30
- 七款可替代付费应用的开源免费工具：本地语音克隆、间谍软件检测等 — dr_cintas · 2026-10-30
- 专访爆火 AI 逆向工程工具 REA 背后的开发者 — scientificamerican · 2026-10-30
- Cloudflare 私有源站服务正式 GA：WAF 与缓存直达内网 API 与 MCP 服务器 — Cloudflare Blog · 2026-10-30