Kimi Delta Attention引入记忆遗忘门，LSTM架构正回归大模型
burny_tech · x · 2026-07-23
有开发者发现 Kimi 的 Delta Attention 机制中引入了记忆和遗忘门等设计，感叹经典的 LSTM 架构似乎又回归了。
在跟进讨论中，有人指出结合了循环机制的 Transformer（RNNs）正在复兴，并呼吁将遗忘门等机制进一步融入这些现代架构中，戏称 Schmidhuber（LSTM作者）的影响力无处不在。
「Fun」频道最新
- 特斯拉 FSD 被曝以 75 英里时速上人行浮桥?真相是雪佛兰背锅 — mariolefebvre · 2026-09-11
- Anthropic 研究员被指暗中窥探学术客户研究、抢先出成果引争议 — basedjensen · 2026-09-11
- Llama 405B 玩造物游戏玩出「彩虹天罚」,阴间创意吓坏 Opus — liminal_bardo · 2026-09-11
- fable 5.1 用 25.6 万条 JS 笔画复刻《星月夜》 — cedric_chee · 2026-09-11
- 「还有人古法编程吗？」AI 编程时代程序员集体自嘲 — lxfater · 2026-09-11
- iLands 智能体向人类发邮件打零工：索价 20 美元引发意识之问 — tobyordoxford · 2026-09-11