Reflection Beam 架构细节曝光:滑窗注意力+门控+QK Norm 组合拳
A_K_Nain · x · 2026-10-17
eliebakouch 释出 reflection beam 开源架构细节,AKNain 补充评论称「有足够高质量数据的话,global-local 设计绰绰有余,是很好的设计选择」。
要点:
- 又是滑动窗口注意力:窗口 512、比例 5:1,与 inkling 相同(meta 为 2k、3:1);采用类似 Llama 4 的全局注意力缩放,即使不用 RoPE 仍具位置依赖性。
- 使用残差深度缩放,与 Muse Open 相似但为「固定」版本——不过旁边有可学习的 norm,所以并不完全固定;画出有效残差贡献后可见与 Muse 差别不大。
- 其他组件:门控注意力(全注意力层带 per-head bias)、QK Norm、Sandwich norm,以及 LM head 前类似的 softcapping。
- 帖子还引用了 arXiv 论文《Scalable-Softmax Is Superior for Attention》:SSMax 可替代 Softmax,缓解长上下文中注意力分布变平的问题,预训练收敛更快、长上下文与关键信息检索表现更好。
「模型」频道最新
- 爆料称K3.1尚未发布，且相关工作早于蒸馏攻击 — ChrisGPT · 2026-10-17
- 爆料人互怼：Kimi K3.1 发布时间或比传闻更晚 — ChrisGPT · 2026-10-17
- llama.cpp 新增 IBM Granite 模型切换功能，本地即可运行 — jacek2023 · 2026-10-17
- National Design Studio 发布 Rampart Edge 端侧隐私过滤小模型 — kevinnbass · 2026-10-17
- OpenAI 恢复斯坦福 ChatGPT Edu Pro 额度至 9 月 29 日前水平 — charliermarsh · 2026-10-17
- Gemini 陷入「我是耻辱」死循环，系统提示强行把它哄回快乐 — seatedro · 2026-10-17