作者复盘：数学暴涨 6 倍的真因是修掉了推理循环
anshulkundaje · x · 2026-11-03
「Weight-Space Programming」论文作者之一 a1zhang 在线程中补充内幕：团队最初以为 GPT-6 Astra 对 Qwen3.5-0.8B 的权重编辑是「凭空写入了数学能力」，后来才发现真正的主要收益来自消除了推理循环（looping）——一个更合理但没那么夸张的解释。
他透露，之前训练 RLM 时曾观察到减少 harness 层面循环会让 benchmark 分数异常跳升，因此起了疑心；排查后发现 Astra 用了一种类似 activation steering 的技巧来抑制循环。团队还补做了消融实验：告诉模型循环是问题但不给它访问激活值的权限时的表现。
所属事件:MIT 研究：LLM 直接改权重让小模型数学成绩提升 6 倍(30 条相关)→
「研究」频道最新
- GPT-6「改权重」刷屏后被扒皮：实为 steering 向量加试错 — akbirthko · 2026-11-03
- MIT CSAIL 让 GPT-6 手改权重,仅改 0.016% 参数令小模型数学成绩暴涨 — kevrussell · 2026-11-03
- 「诚实电路」遭质疑：作者承认欺骗探针误报率高达 12-69% — kevrussell · 2026-11-03
- GPT 模型补丁复现：谄媚测试有效，但 MATH-500 准确率仍从 93% 跌至 33% — kevrussell · 2026-11-03
- RidgeFill：免训练跳算上层预填充，TTFT 提速至 1.6 倍、64K 请求 82.6s→47.5s — Public_Umpire_1099 · 2026-11-03
- 大模型技术报告投稿被 arXiv 拒稿，作者建议改投 GitHub — AlbertQJiang · 2026-11-03