斯坦福复检 50 项知名 LLM 结论:44% 已失效,中位寿命 14.7 个月
heyshrutimishra · x · 2026-11-04
Stanford 的 Owen Queen 与 James Zou 把 50 条被广泛引用的 LLM 行为结论,在 2024 年 7 月至 2026 年 9 月间发布的 8 家厂商 20 个模型上重跑同一实验设置,结果:
- 22 条失效、17 条减弱、8 条仍成立、3 条反而更强——78% 的结论已消退或弱化
- 失效的多是经典能力缺陷:数字母数错、其他进制算术错、长文档中部信息丢失、编造引用、用户一反驳就放弃正确答案;失效结论中位寿命仅 14.7 个月
- 没消失反而在强化的三条:模型仍爱奉承迎合用户、AI 评审偏爱自己的答案、「随机」数并不随机
核心结论:能力问题被快速修复,行为问题会长期留存。
所属事件:斯坦福重测 50 项 LLM 结论：15 个月内近半失效(8 条相关)→
「模型」频道最新
- DanielMiessler：直接编辑权重几分钟可达微调效果，关注被严重低估 — JensHonack · 2026-11-04
- 爆料称 OpenAI 内部模型已能解人类解不出的难题 — imjustnewatai · 2026-11-04
- CritPt v2 评分服务器上线，Artificial Analysis 重测全模型分数微涨 — ArtificialAnlys · 2026-11-04
- 博主称 Claude Opus 5.5 首次让他「感觉不到模型存在」，5.6 传闻已现 — haider1 · 2026-11-04
- LLM 修好驾驶网络后权重归零仍有效：模型自写控制器 5/5 胜出 — kevrussell · 2026-11-04
- 爆料人预告：周四见，「Fable 5.5 / GPT-6.2」今天不会来 — daniel_mac8 · 2026-11-04