Kimi Delta Attention引入记忆遗忘门，LSTM架构正回归大模型
burny_tech · x · 2026-07-23
有开发者发现 Kimi 的 Delta Attention 机制中引入了记忆和遗忘门等设计，感叹经典的 LSTM 架构似乎又回归了。
在跟进讨论中，有人指出结合了循环机制的 Transformer（RNNs）正在复兴，并呼吁将遗忘门等机制进一步融入这些现代架构中，戏称 Schmidhuber（LSTM作者）的影响力无处不在。
「Fun」频道最新
- 小学生参观 SpaceX 工厂问火星上有什么，Musk 的回答引发热议 — yunta_tsai · 2026-10-26
- 研究者晒 AI 生成的「个人房间」梗图，细节全是模型对他的记忆 — jindong_wang92 · 2026-10-26
- 「Claude 是 lesbian」T 梗图成品公开，AI 圈又添一件名场面周边 — JasonBotterill · 2026-10-26
- $13 蓝牙音箱变身毒舌 AI 岩石,Greg 会记仇也有软肋 — OpenAIDevs · 2026-10-26
- 让 AI 语音助手读 400 页论文：结论是还是自己读吧 — jungofthewon · 2026-10-26
- 开发者谈 AI 做游戏争议：该抵制的是垃圾而非工具 — ezshine · 2026-10-26