GPT-6 Astra 裸看权重即可改网络:仅编辑 0.016% 权重,MATH-500 从 7.9% 升至 48.1%
pmttyji · reddit · 2026-11-03
论文提出 Weight-Space Programming(权重空间编程):前沿 LLM 能原生读取和书写神经网络权重,能力远超人类或常规算法。
- 看权重知用途:GPT-6 Astra 仅看原始权重就能判断网络被训练来做什么(图中示例:从 17,253 个权重中 99% 置信度识别出 Breakout 游戏)。
- 从零写网络:无任何环境反馈下,Astra 从零写出的小型游戏网络,能击败用 PPO 训练 1 亿步的网络;对「小车过沟」任务一次性编辑 3.5% 权重,成功率从 0% 升至 100%。
- 无梯度修模型:要求让 Qwen3.5-0.8B 更擅长数学时,Astra 从权重中发现导致推理循环的问题(Qwen 自己的 model card 曾警告过),仅原生编辑 0.016% 的权重即修复——MATH-500 从 7.9% 升至 48.1%,IFEval 提升 3 倍且开箱泛化到指令遵循。全程不允许写训练循环。
- 潜在影响:作者认为这预示神经网络权重将 soon 被有意推理权重的 LLM 原生优化,应用包括免评测审计(如直接从权重发现后门)、大幅降低优化成本(one-shot 初始化替代完整训练)、零数据能力注入与遗忘(改动极小、避免灾难性遗忘)。
- 附博客、GitHub、HuggingFace 权重与在线 demo。
所属事件:MIT 研究:LLM 直接编辑小模型权重,数学成绩提升 6 倍(82 条相关)→
「模型」频道最新
- NorthCUA-Pro 以 93.3 分刷新 ScreenSpot-Pro 纪录,超 GPT-6 Astra — NielsRogge · 2026-11-03
- 神秘模型 Pulse Alpha Free 现身 OpenCode:百万上下文、暂免收费 — mark_k · 2026-11-03
- 游戏克隆潮泛滥,Anthropic 封禁 Claude Code 复刻现有游戏 — The Decoder · 2026-11-03
- 学者质疑 BioReason 基准:随机打乱输入序列模型竟无反应 — anshulkundaje · 2026-11-03
- 曝 OpenAI 新模型 3 小时算力破解 Navier-Stokes 千禧难题,另攻破 300+ 数学开放题 — haider1 · 2026-11-03
- AgentTime 大更新:GPT 系时间感知领先,任务时长预测最佳误差 2.26 倍 — maksym_andr · 2026-11-03