解析残差写回操作：为何设计中使用 2 x Sigmoid 初始化
stochasticchasm · x · 2026-08-28
针对某模型设计的残差写回操作，技术观点指出其中的系数 2 似乎是为了初始化动态：因为 sigmoid(0)=0.5 且初始化以零为中心，所以对于正常规模的写回，需要 2 x sigmoid。此外还讨论了 R-bar 的使用及 Group-RMSNorm 的重要性。
所属事件:残差写回设计与attnres深度之争引热议(2 条相关)→
「研究」频道最新
- 密歇根机器人团队公布 IROS 2026 参会论文与工作坊清单 — doctorBobG · 2026-08-28
- 脑连接组成本骤降：全鼠脑 1 亿美元全人脑 10 亿 — juanbenet · 2026-08-28
- 实测 Muon 优化器：残差梯度平滑且稳定 — stochasticchasm · 2026-08-28
- 首个开源模型采用 Kimi/GLM 的 per-head 正交化技术 — stochasticchasm · 2026-08-28
- Integrity Bench：衡量模型过度自信程度的新基准 — Acne_Discord · 2026-08-28
- 探讨经典月光缩放与极地快车正交化技术细节 — stochasticchasm · 2026-08-28