让 LLM 直接改写自身上下文,研究者警告目标漂移风险
ryanorban · x · 2026-10-01
Nat Lambert 展示可让 LLM 直接编辑自己的上下文,实现更好的长程记忆和更省 FLOP 的适配,宣称「不用再怕 compaction」。
ryanorban 引用并反驳:重写上下文从来不难,难的是改写后仍锚定原始任务。agent 可能困在某个框架里,把框架内看似无关的证据丢弃,从而失去把自己拉回正轨的关键信息,之后只能基于自己编辑过的历史推理。benchmark 更高、算力更低是有用结果,但不能证明 agent 保留了识别跑偏所需的原始目标、约束与上下文。作者也承认这些风险,却把防御留给未来工作,认为这是「不必再怕 compaction」说法背后未解决的大问题。
「漫话AGI」频道最新
- Yudkowsky 争议再起:评论员称其论断并非针对当前模型能力 — teortaxesTex · 2026-10-01
- Sam Altman 访谈:用点号管理 OpenAI、默认 ultrafast 与 AI 文艺复兴 — danshipper · 2026-10-01
- 超级智能模拟器如何既爱人类又不杀死多元主义 — CatAstro_Piyush · 2026-10-01
- AI 原生政府长什么样:一段谈公民与 .gov 聊天机器人的科幻 — KadriJibraan · 2026-10-01
- DoorDash 上线短信点餐 Agent:发消息就能下单补食材 — omooretweets · 2026-10-01
- Will Rinehart 长文:AI「灭绝风险」话术混淆了灾难与灭绝 — WillRinehart · 2026-10-01