KV cache vs 循环记忆:我们是否让 Transformer 用 token 承担太多推理?
Public-Feedback-6705 · reddit · 2026-11-21
一篇 Reddit 架构讨论长文,质疑当前范式:链式推理的每一步都要塞进 token 序列,是否忽略了模型内部状态更新这条路?
核心论点:
- Transformer 靠注意力+KV cache 做灵活召回,但 cache 随上下文线性增长
- Mamba-2、RWKV 用选择性循环状态实现固定大小的高效记忆
- Titans 引入可自适应新信息的神经记忆模块
- BDH(Dragon Hatchling)走稀疏交互+突触更新路线,记忆体现在连接变化中
关键分歧:记忆应该是「从历史 token 里检索」,还是「通过内部连接的变化向前携带」?循环有压缩损失细节的代价,作者认为方向不是替代 Transformer,而是把精确召回与持续更新的记忆结合起来——尤其对长任务、反复遇到相似场景的 Agent 更有意义。
作者向实践者提问:Mamba/Titans/BDH 落地时更难的是决定记什么、之后取回,还是让循环计算在性能上追平注意力?
「研究」频道最新
- Anthropic 数学家自称用 AI 攻克黎曼猜想,Eric Weinstein 点名 Levent Alpöge — inductionheads · 2026-11-21
- Artificial Analysis 发布 Search API 基准:横评 26 款搜索工具 — ArtificialAnlys · 2026-11-21
- 2500页级黎曼猜想证明引热议:计算验证正超越人类理解力 — SydSteyerhart · 2026-11-21
- Genesis 发布药物效力预测模型 Ruby:最快提速超 1000 倍并开源训练数据 — edunov · 2026-11-21
- AI「抄袭」实锤?模型被讽照搬《The Book》里的现成证明 — moyix · 2026-11-21
- 专家曾给 AI 十分之一概率破解千禧年难题,如今连中两题 — theimposingshadow · 2026-11-21