关于注意力 1/d 缩放的观察
stochasticchasm · x · 2026-07-16
帖子提出一个看起来“新”的观察：attention 可能存在 1/d 缩放，原因是 QK norm 按 head 计算。
这是一个偏研究性质的技术判断，属于对注意力机制缩放规律的讨论，而不是在讲某个产品或模型发布。
所属事件:研究者讨论现代 LLM 的 1/d 注意力缩放(6 条相关)→
「研究」频道最新
- Hi3D V1.0 开源发布：训练资产翻四倍，切片成功率 90% — kimmonismus · 2026-10-26
- HackBench 发布：向 Agent 轨迹注入作弊，压力测试监控器 — DanielKhashabi · 2026-10-26
- Fern 团队提出「上下文即智能」:预测精度随上下文增至 1000 万 token 持续提升 — bneyshabur · 2026-10-26
- 研究者发现「Forking」现象：训练损失下降验证损失反升 — ZimingLiu11 · 2026-10-26
- DeepMind 试点全球首个双盲 AI 评测，密码学隔离防基准污染 — scychan_brains · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26