MIT「权重空间编程」：GPT 改 0.016% 参数让 Qwen 数学暴涨 6 倍
AI寒武纪 · wechat · 2026-11-03
MIT CSAIL 博士生 Rikiya Takehi 的「权重空间编程」实验引发热议：不改梯度、不做训练，仅靠推理直接读写神经网络权重。
- 读懂权重：GPT-6 Astra 看原始权重数值，全部猜中四个强化学习游戏策略模型对应的游戏（打砖块、乒乓、吃豆人、小鸡过马路）。
- 诊断修补：对 PPO 训练的爬坡卡死小车，一次回复手写补丁，只改 3.5% 权重，成功率到 100%。
- 从零手写网络：仅凭 MinAtar 游戏规则，单次回复直接手写打砖块网络权重，未经任何训练，分数比 PPO 苦练 5 亿步的模型高 20 倍。
- 模型改模型：Astra 修复 Qwen3.5-0.8B 的推理死循环，仅改 0.016% 权重，数学能力最高涨 6 倍、指令遵循提升 3 倍。
作者认为大模型主动优化权重的时代将来临，正在搭建相关评测基准与工具套件。
所属事件:MIT 研究：GPT-6 直改模型权重，小模型数学成绩提升 6 倍(81 条相关)→
「研究」频道最新
- Spacy 創始人 Honnibal 批評 LLM 權重讀寫研究摘要:各實驗方法並不相同 — honnibal · 2026-11-03
- NLG 學者 Ehud Reiter 劃分四類 LLM 參與寫作的論文 — EhudReiter · 2026-11-03
- WorldFlow 世界模型联合预测视频与 3D 轨迹，SpatialCog 位移误差降 54.2% — Yuhao Lu · 2026-11-03
- FLAMIA：MXFP8 注意力内核加速 Blackwell 训练，防因果泄漏支持变长打包 — yresearch · 2026-11-03
- Lab2Sim 基准：218 个实验视频转可交互虚拟实验，代码生成按状态机校验 — PolyUHK · 2026-11-03
- 清华实证研究：编码 agent 跨任务持续自演化会严重灾难性遗忘，旧数据集性能骤降 — Shangziqi Zhao · 2026-11-03