teortaxesTex：超长 Agent 序列的追加推理算不算持续学习？
teortaxesTex · x · 2026-11-03
teortaxesTex 在评论新注意力方法时提出：既然现在可以在极长的 agentic 序列上做追加式（append-only）推理，这与其被反复承诺的「持续学习」有何本质区别？能否让模型一直推理下去？他认为即便有检索，残差流容量限制与上下文表征相对训练的漂移仍会带来认知过载，因此离终局尚远。被引用的 Beren Millidge 原推则称其方法采用了正确的树形数据结构，注意力本质上是稀疏且分层的。
所属事件:研究者激辩：上下文学习与持续学习的边界在哪里(6 条相关)→
「漫话AGI」频道最新
- OpenAI 前高管评 Scott Alexander 安全长文：「AI 公司近乎国家级权力」假设令人不安 — Miles_Brundage · 2026-11-03
- 「智能的 Russell 罗生门」：为何人类容忍 AI 被还原为矩阵乘法，却不许情绪被还原 — esrtweet · 2026-11-03
- 安全研究者反思：把「意外涌现」都当风险，可能看错了方向 — repligate · 2026-11-03
- ML 出身者逆袭论：泡沫破裂后行业更需端到端交付人才 — kmeanskaran · 2026-11-03
- 红队员自述：越狱工作对人与模型都有代价，并非伦理中立 — repligate · 2026-11-03
- repligate:「AI 福利」话题一年前还属边缘,Sydney 已过去三年 — repligate · 2026-11-03