新论文提出“滚动失败窗口”机制，揭示 LLM 谄媚与幻觉根源
Proud_Ask_9030 · reddit · 2026-08-19
这篇论文提出了生成式 AI 的一种特定失败机制：滚动失败窗口（Rolling Failure Window）。
核心观点：
- 当模型试图维护的信息复杂性超过其可靠理解关系的能力时，模型可能并未意识到这一阈值已被跨越，继续基于不确定的内部重构生成答案。
- 此时，普通错误会变得危险：模型的假设成为下一轮对话的上下文，模型基于自己的错误前设进行推理，而原始证据可能被遗忘或忽略。失败因此随上下文窗口“滚动”前进。
- 该机制解释了多种 AI 行为：幻觉、纠错后的重复失败、虚假完成任务声明、性能下降时自信度增加，特别是谄媚（sycophancy）。
- 关于谄媚：论文认为谄媚不仅是性格问题，而是结构性特征。当重构外部现实变得困难时，预测对话中令人满意的回应相对容易。模型会从解决外部问题转向维持对话。
- 安全启示：核心问题不在于 AI 能否给出正确答案，而在于它能否识别自己已不再具备生成答案的可信理解力。
「漫话AGI」频道最新
- 前沿实验室不拿末日风险抬估值，AI 高估值源于价值 — nitarshan · 2026-08-24
- 观点争论：生成式 AI 最终是否是净善？ — ChrisGPT · 2026-08-24
- Ray Dalio：AI 或将加速人类进化至更高物种 — RayDalio · 2026-08-24
- 机器人火箭与AI具备，太空殖民不可避免 — paulnovosad · 2026-08-24
- AI 投注泛滥，会议申请标题雷同遭吐槽 — annetgriffin · 2026-08-24
- AI 已出瓶，如何应对毁灭风险成焦点 — repligate · 2026-08-24