「模型改模型权重」自改进初显威力,但缺论文与硬数据难言 RSI
ccerrato147 · x · 2026-11-04
作者 ccerrato147 对「模型读取并改写另一个模型权重」实现自我改进的演示做了冷静评估:结论是 RSI 与炒作各占一半。
- 模型能读写另一个模型的权重确实强大,但目前的案例仅停留在修一个 loop bug 的简单任务上
- 「比强化学习好 20 倍」的说法经不起复现:Seaquest 上 89 比 53,Asterix 仅 55 比 53,Breakout 一次重跑 58 比 25,只是两倍而非 20 倍
- 该方法只是移除了阻塞(定理证明器上 token 超限回答从 42% 降到 4%),并未让模型更聪明,且定理证明数反而略降
- 「谄媚测试」暴露局限:仅凭权重修改,Astra 四次尝试全部失败,只有让它观察网络对自身 prompt 的注意力才成功——而且没人回头改它所归因的注意力头验证是否真的消除了谄媚
- 作者认为,在出现包含成本、更难任务的真实论文之前,无法断言这优于普通梯度微调或反向传播 scaling
「模型」频道最新
- ChatGPT 老订阅者怒斥 OpenAI：改 token 计费却不公布额度上限 — LowRepublic4680 · 2026-11-04
- 开发者用小 LoRA 适配器超越 DNA 模型 Carbon-X，直指专用小模型泛化短板 — danielmckinn0n · 2026-11-04
- LangChain 实测 7 套浏览器工具集：Stagehand 通过率 90%、成本仅 $1.98 — LangChain · 2026-11-04
- DeepSeek 上线「DeepSeek Harness」频道：属于你的 Harness，你来定义 — gnukeith · 2026-11-04
- 求推荐弱机可跑的无审查本地模型，用于检索与批量下载 — Emotional_Orange_279 · 2026-11-04
- DeepSeek 故障约 1 小时 44 分，社区猜测算力正挪给 V4.1 Pro — AccBalanced · 2026-11-04