Ripple 65B 逐层分析:value residual 不是摆设,第 6 层只靠它
DZhang50 · x · 2026-11-10
DZhang50(模型作者方)引用 remior 对 Ripple 65B 中 value residuals 作用的逐层分析,并补充设计动机:
- 引入 value residuals 是因为在 8B 4xC 规模上带来了小幅 CE 提升,更重要的是减少了梯度尖峰
- remior 绘制了每层 value residual 系数:系数越高说明该层越依赖 residual、本地 hidden states 越不重要
- 结果显示系数远不为零:浅层 surprisingly 高度依赖 residual,第 6 层甚至只从输入 embedding 构建 value projection;强度在第 6 层达到峰值后随层数递减
这是少见的对某个架构组件是否「真的有用」的实证检验。
「研究」频道最新
- 南大 Reframe 框架对齐视觉智能体观察状态，超越 Mix-RL 与原版 MOPD — NJU · 2026-11-10
- Spatial Harness 用物理引擎可执行场景给 VLM 空间推理「落地」 — TMLR-Group-HF · 2026-11-10
- InstantHMR 手机 NPU 上 5.5ms 实时恢复 3D 人体网格，比同类快 12 倍 — naturalpad · 2026-11-10
- 360 次实测：代码知识图谱对编程 Agent 无明显准确率提升 — JeremyCMorgan · 2026-11-10
- banteg 上线 Sokoban 推箱子评测 — banteg · 2026-11-10
- 微软颁专利奖：可删除用户代理实现 LLM 隐私保护个性化 — SchoeneggerPhil · 2026-11-10