Differential Transformer:双注意力图相减去噪,提升长上下文可靠性
evolvingstuff · x · 2026-09-25
转发介绍 Differential Transformer 的思路:注意力机制天然带噪声,该方法将两个注意力图相减,抵消噪声、让模型聚焦真正的信号。
作者称这一做法能显著改善长上下文推理、减少幻觉。核心创新在于用「差分」结构抑制注意力冗余,属于架构层面的新方法,论文链接见原帖。
「模型」频道最新
- 800 美元二手 3090 主机本地跑 DeepSeek 4.1，2 量化仅 2-3 token/s — LankyGuitar6528 · 2026-11-11
- 谷歌开源 Harness²：能自己改写系统配置的智能体框架 — Arindam_1729 · 2026-11-11
- 开发者吐槽 Codex 桌面版质量差，弃用客户端改走 CLI — tekbog · 2026-11-11
- 旧模型发布前「变笨」？网友调侃：其实是实验室开派喝醉了 — glcst · 2026-11-11
- Grok Bot 新增隐藏指令检测：发现 prompt 注入即警告并拒绝执行 — XFreeze · 2026-11-11
- 上海创新院开源 Nex-N2.6：321B 多模态智能体模型 — victormustar · 2026-11-11