3B 模型训练时渐进复制中层，GSM8K 19% 胜 12% 且省 26% 算力
burny_tech · x · 2026-11-01
TUM、Helmholtz AI 与 Google Paragdims of Intelligence 团队的论文《How Depth Growth and Looping Shape In-Context Learning in Language Models》研究了 depth growing(训练中渐进复制层块)与 looping(重复应用共享层块)两种计算复用方式对上下文学习(ICL)的影响。
关键发现：
- 在 3B 规模上，训练时渐进复制中层(depth growing)在 8-shot GSM8K 上约 19% vs 标准 dense 训练 12%,且预训练算力节省 26%。
- grow 与 looped 模型更依赖上下文信息,在受控任务上比全深度模型更早展现 ICL 能力,习得的关联在权重中保持稳定。
- 注意头追踪显示 depth growth 在训练早期就促使 induction heads 在层间传播;消融实验表明 grow/looped 模型更依赖 induction heads 完成少样本任务和后续 token 预测。
- 结论：计算复用带来偏向「从上下文学习」的共享归纳偏见(soft parameter reuse),塑造了 ICL 能力的形成方式与支持的注意力机制。
「Infra」频道最新
- Reddit 实测:AMD EPYC+多卡 3090 跑 Qwen Q8 达 94 tok/s,8 路并发近线性扩展 — sleight42 · 2026-11-01
- 内存 18 个月涨 7 倍至 429 美元，Altman 称「看不见的手正在失灵」 — aakashgupta · 2026-11-01
- 马斯克暗示数据中心提前建成,xAI 2026 年底或达 1000 亿美元 ARR — mitchdeg · 2026-11-01
- 从零写 CUDA 引擎:3-6 台 DGX Spark 跑满 GLM-5.3,并提取转向向量控制输出语言 — burny_tech · 2026-11-01
- 深入解读 NVIDIA 指令调度模型:静态延迟与 scoreboard 的博弈 — mike64_t · 2026-11-01
- $1100 收 24GB RTX 3090,装无头服务器跑本地模型求配置建议 — NighthawkXL · 2026-11-01