Beren Millidge：注意力 ICL 难解持续学习，残差流表达力受限
BerenMillidge · x · 2026-11-03
Beren Millidge 回应 teortaxesTex 的持续学习之问：他不认为这类方法能解决持续学习问题。注意力式 ICL 本质上只是往残差流中为每个 token 添加一个向量，其表达力终究有限——虽然已经非常强大。这条回复与其关于新方法的长推共同构成他对注意力机制稀疏性、分层性的论证脉络。
所属事件:研究者激辩：上下文学习与持续学习的边界在哪里(6 条相关)→
「研究」频道最新
- Schmidhuber 1991 年「快权重记忆」论文再引关注，早于动态循环网络 — yacinelearning · 2026-11-03
- ChefNMR2 从 NMR 谱图推断分子结构，2031 个分子上准确率 82% 远超 Claude — anshulkundaje · 2026-11-03
- Schmidhuber 重申:1991 年快权重网络才是最早的 Transformer — SchmidhuberAI · 2026-11-03
- Liquid AI 提出 Antidoom：定向训练把推理模型死循环率从 10.2% 降至 1.4% — maximelabonne · 2026-11-03
- lateinteraction：LLM 已开始擅长用自然语言直接生成神经网络权重 — lateinteraction · 2026-11-03
- Google×港大 VeriCUA:Agent 自己报完成不算数,误判率降至 5.4% — rohanpaul_ai · 2026-11-03