闭式权重手术让 0.8B 模型跑赢 2B 模型

研究者提出一种“闭式权重手术”方法，跳过耗时数周、需数十亿 token 的标准蒸馏，仅用少量校准 prompt 提取教师模型的层间隐状态轨迹，通过闭式线性代数（SVD delta）直接求解学生模型 SwiGLU MLP 块的权重更新，全程零反向传播。Reddit 用户将该方法称为 DynamicTune，把深度网络视为连续深度动力系统并迁移速度场。结果显示经此移植的 0.8B 模型在 ARC-Challenge 上达到 42.15%，跑赢 2B 模型。

2026-10-06 ~ 2026-10-06 · 2 条相关

• 闭式权重手术：少量校准样本把 4B 能力移植进 0.8B 模型 — AdventurousTwo6445 · 2026-10-06
• 0.8B 模型闭式权重手术跑赢 2B 模型，ARC-Challenge 达 42.15% 零反向传播 — AdventurousTwo6445 · 2026-10-06