MIT 研究:AI 直接改权重,0.016% 参数让小模型数学从 7.9% 升到 48.1%
rohanpaul_ai · x · 2026-11-03
MIT 研究人员展示了一个惊人结果:让一个前沿模型(Astra)在不训练的前提下直接编辑另一个模型的权重,就能大幅提升其能力。
具体过程:
- Astra 拿到 Qwen3.5-0.8B 的权重和一个 Python notebook,外加 50 次练习题测试预算
- 它发现模型总是重复自己直到撞上长度上限,并把这一习惯追溯到由 2 个层写入的单一内部信号
- Astra 直接从权重中减去该信号,仅改动 0.016% 的权重
- 编辑后模型能完成原本已会解的题目,MATH-500 准确率从 7.9% 跃升至 48.1%
这说明模型的一部分失败并非能力缺失,而是可被定位并移除的内部坏习惯,由 AI 自主完成「模型手术」是一个值得关注的信号。
所属事件:MIT 研究：AI 直接改权重，小模型数学成绩提升 6 倍(85 条相关)→
「模型」频道最新
- Mistral Large 4 一把造出追踪 1.9 万颗卫星的实时 3D 应用 — MistralAI · 2026-11-03
- 德国初创发 Endeavor 1.1 宣称超越 OpenAI,遭质疑是刷榜骗局 — teortaxesTex · 2026-11-03
- 曝 DeepSeek V5 将几乎全程用华为昇腾芯片预训练，摆脱英伟达 — kimmonismus · 2026-11-03
- Schmidhuber 泼冷水：权重编辑早是 1990 年代快权重编程的旧帽子 — SchmidhuberAI · 2026-11-03
- 「GPT-6 改权重提升 6 倍」遭打脸：实为消融方向向量，非编辑权重 — IanArawjo · 2026-11-03
- NorthCUA-Pro 以 93.3 分刷新 ScreenSpot-Pro 纪录,超 GPT-6 Astra — NielsRogge · 2026-11-03