「编辑权重让模型提升 7 倍」真相:只是关闭思考模式修循环 bug

ChengleiSi · x · 2026-11-03

针对「Astra 能编辑模型权重、把准确率提升 7 倍」的传播,转发者指出从实验日志看故事远没那么炫:Astra 实际做了 thinking mode 开/关的消融实验,发现思考模式导致小模型陷入循环和超上下文失败,然后针对性地关闭了 thinking。

配图日志显示,实验对象是 Qwen3.5-0.8B 数学任务权重编辑:关闭 thinking 后,GSM8K 练习成绩从 11.6% 升至 70.8%,MATH 从 9.5% 升至 50%,合计提升 49.8 个百分点,其中 576 个被「救回」的样本原本是因循环思考耗尽 token 预算而被截断的输出。也就是说,大幅提升主要来自修复思考模式导致的失败,而非神奇的权重编辑本身。

所属事件:GPT-6 改权重大幅提升小模型遭打脸:实为思考模式消融(2 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →