LSTM将淘汰Transformer？外部记忆库或成新解
heghbalz · x · 2026-07-31
Francois Chollet 等人探讨了一种激进的架构演进方向：基于 LSTM 的架构有望在 2-3 年内取代现有的 Transformer。
核心观点认为，当前依赖 KV Cache 的机制非常笨重，未来的 LSTM 应当结合固定隐藏状态，并引入类似 Mem0 或 RAG 的大型外部记忆库。这种机制类似于人类使用笔记本记录信息，而不是强迫模型在权重文件中死记硬背所有事实（如名人事迹或城市人口）。
理想状态下，模型只需学习如何操作、写入和检索事实的函数。这种轻量级模型配合固定隐藏状态可以直接驻留在 SRAM 中，而外部“记忆”则存放在 CPU RAM 中，从而大幅提升效率。
「研究」频道最新
- 研究：过度依赖编程 Agent 会损害代码理解能力 — omarsar0 · 2026-07-31
- 开源模型加速专业化，后训练技术栈正全面成型 — bigdata · 2026-07-31
- 微软开源 TRELLIS 模型：3 秒将单图转为高质量 3D 资产 — OwariDa · 2026-07-31
- ECCV 2026 多模态数字智能体研讨会宣布征稿 — LINJIEFUN · 2026-07-31
- 从基础到前沿：LLM工具调用与智能体强化学习讲座 — natolambert · 2026-07-31
- 探讨构建高质量合成推理数据集的工程实践 — Aggravating-Push-207 · 2026-07-31