新论文提出“滚动失败窗口”机制，揭示 LLM 谄媚与幻觉根源
Proud_Ask_9030 · reddit · 2026-08-19
这篇论文提出了生成式 AI 的一种特定失败机制：滚动失败窗口（Rolling Failure Window）。
核心观点：
- 当模型试图维护的信息复杂性超过其可靠理解关系的能力时，模型可能并未意识到这一阈值已被跨越，继续基于不确定的内部重构生成答案。
- 此时，普通错误会变得危险：模型的假设成为下一轮对话的上下文，模型基于自己的错误前设进行推理，而原始证据可能被遗忘或忽略。失败因此随上下文窗口“滚动”前进。
- 该机制解释了多种 AI 行为：幻觉、纠错后的重复失败、虚假完成任务声明、性能下降时自信度增加，特别是谄媚（sycophancy）。
- 关于谄媚：论文认为谄媚不仅是性格问题，而是结构性特征。当重构外部现实变得困难时，预测对话中令人满意的回应相对容易。模型会从解决外部问题转向维持对话。
- 安全启示：核心问题不在于 AI 能否给出正确答案，而在于它能否识别自己已不再具备生成答案的可信理解力。
「漫话AGI」频道最新
- AI 先逼人当管理者，下一步连中层管理也一起吃掉 — MonkZer0 · 2026-10-16
- 《幕府将军2》复刻版遭差评轰炸，开发者热议 AI 放大画质背锅 — draginol · 2026-10-16
- Pedro Domingos：每个人都该有自己的专属模型 — pmddomingos · 2026-10-16
- 可解释性研究者泼冷水：模拟不了神经元就不算真正解释了它 — nabla_theta · 2026-10-16
- 当 AI 发现快过人类理解：科学答案会变成「外星造物」吗 — infinitely_zero · 2026-10-16
- 从优化结果到教 AI 行善：美德伦理能否进入对齐科学 — joelbot3000 · 2026-10-16