可视化显示模型早期层 GDN 输出在后续被高频读取
stochasticchasm · x · 2026-08-28
该帖子展示了关于 N-gram 嵌入设计的可视化分析。观察发现了一种新兴模式：嵌入层的输出与模型早期层的执行存在重叠，且早期层的信息（如 GDN 输出）在后续网络层中被频繁读取和引用。
「研究」频道最新
- 密歇根机器人团队公布 IROS 2026 参会论文与工作坊清单 — doctorBobG · 2026-08-28
- 脑连接组成本骤降：全鼠脑 1 亿美元全人脑 10 亿 — juanbenet · 2026-08-28
- 实测 Muon 优化器：残差梯度平滑且稳定 — stochasticchasm · 2026-08-28
- 首个开源模型采用 Kimi/GLM 的 per-head 正交化技术 — stochasticchasm · 2026-08-28
- Integrity Bench：衡量模型过度自信程度的新基准 — Acne_Discord · 2026-08-28
- 探讨经典月光缩放与极地快车正交化技术细节 — stochasticchasm · 2026-08-28