Agent 直接改 Qwen3.5-0.8B 权重，MATH-500 从 7.9% 提到 48.1%

giffmana · x · 2026-11-03

giffmana（Andrej Karpathy 相关讨论中）分享了一个实验示例：一个名为 Astra 的 agent 在不训练的前提下，仅通过 50 次 forward-pass 工具调用、直接编辑 Qwen3.5-0.8B 的权重来提升其数学能力。图中显示：该 run 做了 17 次编辑，其中一次修改第 15、19 层各 64 个 MLP 输出列（131,072 个权重），MATH-500 准确率从 base 的 7.9% 升至 48.1%（80 runs 验证）；组合干预带来 +49.8 个百分点的提升（SE 1.5），577 次「抢救」来自修复重复思考耗尽 token 预算的失败机制。prompt 明确要求修改须有机制层面的证据支撑，禁止改 final norm、embedding 等全局捷径。