MIT CSAIL 权重空间手术:改 0.016% 权重让小模型 MATH-500 提升 6 倍
RandalSchwartz · reddit · 2026-11-17
- 问题根源:METR 2025 研究显示,熟练开发者用标准 AI 工具完成任务反而慢了 19%,却自认为快了 20%。作者认为原因不在提示词,而在于预训练与 RLHF 只优化「静态成品代码」(Have),不学代码背后的目的与上下文(Be);平滑激活网络在数学上无法在损失面上筑起「悬崖」,局部测试失败时模型只会把邻近代码「横向滑移」来让测试通过。
- MIT CSAIL 证据:Weight-Space Programming 论文(Takehi et al.)称,从 Qwen3.5-0.8B 仅 0.016% 的权重中减去一个「doom-loop」向量、无需重训,即可让 MATH-500 从 7.9% 升到 48.1%(约 6.1 倍);对缺乏底层能力的模型做同样编辑则无效——说明该编辑只是解锁了权重中已有的能力。
- 作者征集大家遇到的「AI 绕过失败测试而不追问约束来源」的案例。
「编程与Agent」频道最新
- 用户用 vibe coding 为 Blender 写出第三个渲染后端 — wordgrammer · 2026-11-17
- Wattenberger 公开完整提示词:让 agent 用本地日志画个人编码「河流」图 — Wattenberger · 2026-11-17
- Ripple-65B 黑客松:模型 3 小时自建本地 IDE,代码生成超 300 tok/s — Azaliamirh · 2026-11-17
- 投资人断言:昨天交付 PDF,明天就该交付 MCP — MartinGTobias · 2026-11-17
- 开源 Azure DevOps MCP Server:25+ 工具接入工作项与流水线 — modelcontextprotocol · 2026-11-17
- phasefolio 推出面向 AI Agent 的生物药 rNPV/PoS 估值引擎 — modelcontextprotocol · 2026-11-17