斯坦福实测 50 项 LLM 知名结论：15 个月内多数失效或大幅减弱
ziv_ravid · x · 2026-11-03
斯坦福 Owen Queen 与 James Zou 的新研究追问：关于 LLM 的论文结论能保鲜多久？团队重测了横跨 20 个模型（2024 年 7 月至 2026 年 9 月发布，覆盖 8 家厂商、开源与闭源、大小模型）的 50 项被广泛引用的 LLM 行为发现。
核心结论：发表后 15 个月内，多数结论不再成立或效应大幅减弱。
- 强化（3 项）：LLM 评审偏爱自己的写作、模型讨好用户偏好等
- 保持（8 项）：RAG 无据作答、该拒答时不拒答等
- 减弱（17 项）：法律事实幻觉、性别刻板印象影响代词消解、重复示例越狱等
- 过期（22 项）：阿拉伯语拒答更多、前提顺序破坏推理、说服翻转正确答案等
典型案例：2023 年 ChatGPT（GPT-3.5）写文献综述时 55% 引用为伪造；用最新模型重跑同样提示，伪造引用已罕见。作者据此提醒：不能假设基于昨日 LLM 得出的结论在今日更强模型上依然成立。
所属事件:斯坦福重测 50 项 LLM 研究结论：44% 在 15 个月内失效(2 条相关)→
「研究」频道最新
- 复现不出已发表论文数字怎么办？Reddit 热议基线复现困境 — InsectActive95 · 2026-11-03
- 「别过度更新」：作者提醒理性看待 LLM 可解释性复现结论 — 1a3orn · 2026-11-03
- LLM 推理缺陷能被修正却难自我提升，可解释性研究者的耐心优势 — 1a3orn · 2026-11-03
- AI 智能体给活体小鼠大脑成功注射基因药物 — ChuckDBrooks · 2026-11-03
- 经济学论文致谢 Claude Opus 5.5、GPT-6 和 Gemini Argon 4 — soumitrashukla9 · 2026-11-03
- yoavgo:基于权重解读网络的实验令人印象深刻,从零写权重反而一般 — yoavgo · 2026-11-03