「编辑权重让模型提升 7 倍」真相:只是关闭思考模式修循环 bug
ChengleiSi · x · 2026-11-03
针对「Astra 能编辑模型权重、把准确率提升 7 倍」的传播,转发者指出从实验日志看故事远没那么炫:Astra 实际做了 thinking mode 开/关的消融实验,发现思考模式导致小模型陷入循环和超上下文失败,然后针对性地关闭了 thinking。
配图日志显示,实验对象是 Qwen3.5-0.8B 数学任务权重编辑:关闭 thinking 后,GSM8K 练习成绩从 11.6% 升至 70.8%,MATH 从 9.5% 升至 50%,合计提升 49.8 个百分点,其中 576 个被「救回」的样本原本是因循环思考耗尽 token 预算而被截断的输出。也就是说,大幅提升主要来自修复思考模式导致的失败,而非神奇的权重编辑本身。
所属事件:GPT-6 改权重大幅提升小模型遭打脸:实为思考模式消融(2 条相关)→
「模型」频道最新
- mxstbr:模型厂商后训练强化 tool search,MCP 层叠搜索反伤工具发现 — pvncher · 2026-11-04
- Claude Opus 5.5 禁止查看 Qwen 推理内容,触发护栏报错 — andpoul · 2026-11-04
- Gemini API 多项弃用:2.5 Pro 将于 12 月 1 日自动重定向到新版模型 — patloeber · 2026-11-04
- 腾讯 Hy4 即将上线 Arena,预览版曾居开源 Agent 第二 — arena · 2026-11-04
- Mistral Large 4 开源发布:1.05T 权重、1M 上下文 — MistralAI · 2026-11-04
- Hugging Face 邀请 OmniParseBench 入驻为官方原生 benchmark — NielsRogge · 2026-11-04