双向注意力毁缓存?作者实测四种注意力方案找到两全配方
antoine_chaffin · x · 2026-10-17
针对完全双向注意力导致状态缓存无法复用的问题,作者系统测试了多种注意力 schema:
- 最朴素的方案(PrefixLM 风格:状态双向、问题因果):59.53,可缓存,但比完全双向低 2.0,其中一半差距仅仅来自把问题改成因果
- 双向+双向但状态不能看问题:带缓存 60.86,即使不缓存也只有 61.09,仍是退化
- 最终配方:先用完全双向训练,再做一次去掉"状态→问题"注意力的小微调。结果无缓存 62.16(持平或优于 v1.1),带缓存 61.18(只比 v1.1 低 0.4)
还可以进一步折中:像 MICE 那样只缓存模型底部几层。配图给出了完整的设计空间对比表。
「模型」频道最新
- Glimpse 发布首个视觉思维模型，宣称对标 Astra 前沿水平 — AndrewDai · 2026-10-17
- Grok Bots 已上线 Grok 网页与移动端，填补 OpenAI Dots 空白区 — testingcatalog · 2026-10-17
- Meta 新条款被指将获权抓取全网内容训练 AI,引行业炮轰 — VeryWellVersed · 2026-10-17
- 用户抱怨 Codex 远程连接不再显示用量统计，只剩编辑按钮 — No-Butterscotch-218 · 2026-10-17
- 开发者不解:非技术用户为何偏爱 ChatGPT 而非 Claude — prasenx · 2026-10-17
- ChatGPT 近期体验劣化：输入乱码、内嵌图片失效、频繁超时 — ChristianKl · 2026-10-17