新论文:Claude 直接改小模型权重,Qwen3.5-0.8B MATH-500 提升 51.4 分
udmrzn · x · 2026-11-17
论文《Same Fix, Different Weights: Replicating Weight-Space Programming with Claude》(Subham Kundu) 展示了一种免梯度的「权重空间编程」方法:Claude Opus 5.5 能把小模型的权重当作文本直接阅读和编辑,通过修改输出缩放和 token logits 等权重,让 Qwen3.5-0.8B 的 MATH-500 成绩最多提升 51.4 分。
要点:
- 核心思路是把权重优化变成 in-context 推理问题,而非昂贵的微调循环
- 对构建者而言,这意味着 LLM 可以对小型专用模型做直接、外科手术式的干预
- 修复方案可跨不同权重复现("Same Fix, Different Weights")
「模型」频道最新
- 马斯克官宣:Grok 4.8 本周上线,xAI 用 C/C++ 重写全栈 — iamfakhrealam · 2026-11-17
- 开发者观察:模型在半明确数学题上不升反降,Astra 表现令人失望 — LucaAmb · 2026-11-17
- OpenAI 研究员爆料「今天是大日子」,网友猜测新模型将至 — iruletheworldmo · 2026-11-17
- 开发者开源 380M 参数 AI slop 检测器:浏览器端运行,训练仅 3 小时 — InvadersMustLive · 2026-11-17
- 用户公开致信 OpenAI:Dot 一周后持续退化,考虑转投 Anthropic — Danny7Guns · 2026-11-17
- 用户报告 Gemini 4 在 Antigravity 中跳过思考过程,官方论坛已确认 Bug — lyraxana · 2026-11-17