不靠 LSTM 式传递也有效:donor 一致性修复降低冷启动损失
BlackHC · x · 2026-10-06
作者补充:这种修复方法在没有 LSTM 风格 carry 的情况下同样有效。在宽度 512 的试点实验中,donor 一致性方法对门控 carry、普通递归和输入注入三种变体分别带来 -0.1374、-0.0814 和 -0.0271 nats 的冷启动顺序损失改善(每次更新单种子,不构成一般性的架构排名)。
所属事件:BlackHC 离职首作：共享 KV cache 的绑定 Transformer(8 条相关)→
「研究」频道最新
- 数学界缺乏实证传统，费马奖千份错误证明暴露领域盲区 — RexDouglass · 2026-10-06
- NanoGPT speedrun 刷新纪录：速度提升 11.3%，论文即将发布 — yoavartzi · 2026-10-06
- CMU 团队 PNAS 论文警示 AI 科学家系统:自动化越多,可见性越少 — Dr_Atoosa · 2026-10-06
- Embodied Analysis 发布统一评测平台:物理智能体与世界模型同框架横评 — qinzytech · 2026-10-06
- COLM 论文直指 softmax 梯度瓶颈,作者曾以新 LM head 破 nanogpt speedrun 纪录 — yoavartzi · 2026-10-06
- 用"拟态欲望"理论分析智能体黑话:Neuralese 行话图谱上线 — kalladomcdowell · 2026-10-06