用前沿模型直接改小模型权重:0.016% 参数让 0.8B 数学能力提升 6 倍
teortaxesTex · x · 2026-11-03
- 转发的核心内容:团队让 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重来提升数学能力,模型只改动了 0.016% 的权重,无需梯度或训练,就修复了 0.8B 模型的推理死循环,数学能力最高提升 6 倍,指令遵循也提升 3 倍。团队称之为「权重空间编程」(Weight-Space Programming),认为前沿 LLM 已能原生读写神经网络权重。
- 配图是 Fleet 数据公司(前 Anthropic 可解释性团队 resident Michael Sklar)的招聘帖:Fleet 正启动「mechanize for mechinterp」项目,高薪聘研究员教 AI 做更好的机制可解释性研究,用前沿模型辅助做可解释性研究并把 agent 失败案例转化为训练任务;Fleet 目前向所有前沿 AI 实验室出售 RL gym/任务。转发者据此断言:各大实验室肯定已经在用机制可解释性做 RL。
所属事件:MIT 研究：LLM 直接改权重，小模型数学成绩提升 6 倍(36 条相关)→
「模型」频道最新
- SemiAnalysis 发布 GDPx 基准:最强模型仅得 12%,GPT-6 Pro 挑出评分错误 — eldonredwards · 2026-11-03
- Zyphra 报告称实现真·次二次注意力,teortaxes:架构革命仍是更好的 Transformer — teortaxesTex · 2026-11-03
- GPT-6 直改 0.8B 模型权重提分 6 倍？挖细节后「魔法感」大打折扣 — teortaxesTex · 2026-11-03
- DeepSeek 在 OpenRouter 用量半年 14 倍,年化增速约 390 倍 — teortaxesTex · 2026-11-03
- OSVerify 两次揪出 GPT-6-Pro 与 Codex 都漏掉的证明致命错误 — james_y_zou · 2026-11-03
- 4 张 2017 年 V100 跑 DeepSeek-V4.1-Flash:解码 38 tok/s、512K 上下文 — TumbleweedNew6515 · 2026-11-03