Simon Willison 复现:笔记本上的 Qwen 3.8 27B 也能直接读懂模型权重
dl_weekly · x · 2026-11-12
Simon Willison 在笔记本上复现了热议论文《Sparks of Weight-Space Programming》的方法,17GB 量化版 Qwen 3.8 27B 仅凭原始权重就识别出四个策略网络中的三个。
论文核心发现
- 提出「权重空间编程(Weight-Space Programming)」:GPT-6 Astra 等前沿模型可直接解读并修改模型的原始权重(即一串浮点数的文本描述),且无需写训练循环。
- Astra 从零写出的小游戏网络能胜过用 PPO 训练 1 亿步的网络。
- 让 Qwen3.5-0.8B 数学更强时,Astra 定位到权重中导致推理死循环的问题,原生编辑 0.016% 的权重,将 MATH-500 从 7.9% 提到 48.1%,IFEval 提升 3 倍并可泛化到指令遵循。
复现要点:Willison 用本地运行的 Qwen 3.8 27B 完成了同样的权重解读任务,说明该能力并非只属于闭源前沿模型,普通用户今天就能在消费级硬件上尝试。
「模型」频道最新
- KOL 预测:年底 Gemini 将稳坐最强前沿模型,对手估值腰斩 — iruletheworldmo · 2026-11-12
- GRPO 论文:算力对齐后密集奖励反而不如稀疏奖励 — burny_tech · 2026-11-12
- 质疑 Opus 5.5 被暗中降智?开发者写 CLI 用本地日志实测 token 用量漂移 — Tough_Stay8909 · 2026-11-12
- 6x3090 跑 2.9bpw 量化版 DeepSeek V4.1 Flash,APEX 2025 得分超 GPT-5.4 — hp1337 · 2026-11-12
- Reflection 开源编码 Agent Beam 限时免费,Zig 编写的 fx 仅 5.97MiB — evilrabbit_ · 2026-11-12
- 网友猜测谷歌今日或直接发布 Gemini 4 正式版而非 Flash — algo_diver · 2026-11-12