Kimi Delta Attention引入记忆遗忘门，LSTM架构正回归大模型
burny_tech · x · 2026-07-23
有开发者发现 Kimi 的 Delta Attention 机制中引入了记忆和遗忘门等设计，感叹经典的 LSTM 架构似乎又回归了。
在跟进讨论中，有人指出结合了循环机制的 Transformer（RNNs）正在复兴，并呼吁将遗忘门等机制进一步融入这些现代架构中，戏称 Schmidhuber（LSTM作者）的影响力无处不在。
「Fun」频道最新
- 英国出身僧人升至泰国佛教第二高僧阶 — StewartalsopIII · 2026-07-23
- 亚马逊AGI部门裁员，预训练数据筛选员自嘲被当数据过滤 — yuwen_lu_ · 2026-07-23
- 一张梗图说：连 ChatGPT 都证伪不了的猜想未必是好事 — silver__tsuki · 2026-07-23
- OpenAI 讨论里一句“快速 RSI”发言，变成对齐梗 — zetalyrae · 2026-07-23
- 一个心理咨询站点差点注册了让人没法直视的域名 — daluoseo · 2026-07-23
- 一张梗图把“量子 AI 会实现 ASI”变成了笑话 — GlenBradley · 2026-07-23