你的 LLM 评测可能在说谎:四种失效方式与廉价纠错习惯
irombie · x · 2026-10-30
作者整理自其 AI Connect Istanbul 演讲的推文串,指出 LLM 评测常见失效方式及低成本应对习惯:
- 基准已饱和且污染严重:研究的 60 个基准中近一半已饱和,OpenAI 因前沿模型能复现 SWE-bench Verified 的标准补丁而停止报告该成绩。
- LLM judge 便宜但有偏:每千次输出成本约 3.60 美元(对比人工约 500 美元),但存在位置偏好、偏爱冗长、自偏好等偏差。应对:与自有标注对照、成对样本正反序各跑一次、把换 judge 当作一次新评测。
- agent 调对工具不等于完成任务:正确调用可能仍失败,正确答案可能来自循环烧 token。应对:对整条轨迹打分——工具正确性、任务完成度、步骤效率、计划遵循度。
核心主张:与其依赖公开基准,不如从自己的失败案例中取约 20 个例子做评测。
所属事件:「你的 LLM 评测在说谎」：温度0跑千次得80种答案(5 条相关)→
「编程与Agent」频道最新
- Antigravity 插件支持多 Google 账号，个人与工作文档可并存 — rseroter · 2026-10-30
- AI 让形式化验证翻身:seL4 曾需 20 人年,如今初创公司号称可用 — lemire · 2026-10-30
- YC 实验：4 个 AI Agent 在 Minecraft 花 11 分钟任命一名「协调员」 — aiamblichus · 2026-10-30
- 微软发布 Mage-VL-Cowork：面向 GUI 与编码 agent 的视觉语言模型 — microsoft · 2026-10-30
- 给 WhatsApp 外联 Agent 定频控:每人 14 天只发一条推广 — petrusenko_max · 2026-10-30
- Nova v1 Flash 发布：把 AI 编程队友、自动化与 PR 审查塞进一个工具 — Gauri_the_great · 2026-10-30