Beren Millidge：注意力 ICL 难解持续学习，残差流表达力受限
BerenMillidge · x · 2026-11-03
Beren Millidge 回应 teortaxesTex：他不认为这类方法能解决持续学习。注意力式 ICL 本质上只是向残差流中为每个 token 注入一个向量，表达力存在上限——尽管已经很强。被引用的 teortaxesTex 原推称该工作是里程碑式成就，并追问超长 agentic 序列上的追加式推理与「持续学习」的区别、残差流限制是否终将导致认知过载与漂移。
所属事件:研究者激辩：上下文学习与持续学习的边界在哪里(6 条相关)→
「漫话AGI」频道最新
- OpenAI 前高管评 Scott Alexander 安全长文：「AI 公司近乎国家级权力」假设令人不安 — Miles_Brundage · 2026-11-03
- 「智能的 Russell 罗生门」：为何人类容忍 AI 被还原为矩阵乘法，却不许情绪被还原 — esrtweet · 2026-11-03
- 安全研究者反思：把「意外涌现」都当风险，可能看错了方向 — repligate · 2026-11-03
- ML 出身者逆袭论：泡沫破裂后行业更需端到端交付人才 — kmeanskaran · 2026-11-03
- 红队员自述：越狱工作对人与模型都有代价，并非伦理中立 — repligate · 2026-11-03
- repligate:「AI 福利」话题一年前还属边缘,Sydney 已过去三年 — repligate · 2026-11-03