「你的 LLM 评测在骗你」:temperature 0 跑 1000 次得 80 种答案
irombie · x · 2026-10-30
Irem Ergun 在 AI Connect Istanbul 的演讲《Your LLM Evaluation Is Lying to You》整理成文,列出评测报告会骗人的四个来源及对应的廉价检测习惯,全部附来源与可运行代码(支持 --mock,无需 API key),核心观点:今天人人都能上线 LLM 功能,但很少有人能证明它真的有效。
要点:
- 模型是分布不是函数:temperature 0 不是确定性开关。Horace He / Thinking Machines Lab 对 Qwen3-235B 用同一 prompt 打了 1000 次,得到 80 种不同答案——前 102 个 token 完全一致,第 103 个 token 上 992 次输出 "Queens, New York"、8 次输出 "New York City";换用 batch-invariant kernel 后 1000 次全部一致,说明差异来自推理服务器而非采样。
- 格式扰动就能撼动准确率:Sclar 等人仅改动分隔符、空格、大小写等不影响语义的格式细节,LLaMA-2-13B 准确率波动最高达 76 分;50 多个任务上的典型波动约 10 分。
- 另提到土耳其语特例:Python 中 "İSTANBUL".lower() 不等于 "istanbul",精确匹配评分器会把正确的土耳其语答案判错。
作者提供了 judgeflip.py,可对自己的 judge 跑翻转测试。
所属事件:「你的 LLM 评测在说谎」：温度0跑千次得80种答案(5 条相关)→
「编程与Agent」频道最新
- Zig 编写的 6MB 极简 coding agent fx 开源，可跑进浏览器 — cramforce · 2026-10-30
- Ontographia:LLM 只发 Intent,永不手写 Cypher 查询 — JeremyCMorgan · 2026-10-30
- Coinbase for Agents 上线 NousResearch Hermes：交易 Agent 获持久记忆与定时简报 — MurrLincoln · 2026-10-30
- 独立开发者推买断制编辑器 Better Rich Text，逐条硬刚 TinyMCE 订阅收费 — CtrlAltDwayne · 2026-10-30
- 12 分钟无代码搭出工作室 AI 前台：会接电话、答问、不乱报价 — aftahi_ai · 2026-10-30
- 2026 仅剩 63 天：转行 AI 应用的六步执行清单 — brandon_galang · 2026-10-30