KV cache vs 循环记忆:我们是否让 Transformer 用 token 承担太多推理?

Public-Feedback-6705 · reddit · 2026-11-21

一篇 Reddit 架构讨论长文,质疑当前范式:链式推理的每一步都要塞进 token 序列,是否忽略了模型内部状态更新这条路?

核心论点:

关键分歧:记忆应该是「从历史 token 里检索」,还是「通过内部连接的变化向前携带」?循环有压缩损失细节的代价,作者认为方向不是替代 Transformer,而是把精确召回与持续更新的记忆结合起来——尤其对长任务、反复遇到相似场景的 Agent 更有意义。

作者向实践者提问:Mamba/Titans/BDH 落地时更难的是决定记什么、之后取回,还是让循环计算在性能上追平注意力?

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →