从业者谈 RSI 现实:模型爱跑偏,后训练管线仍靠人工
menhguin · x · 2026-11-06
关于让模型自我改进(RSI)的现实困境:理论上可以只告诉模型「把代码变得更强」然后让它自己跑,实现递归自我改进;但实践中模型总是抓不住重点,出现模式坍缩和 reward hacking。
作者指出根本原因:当前 post-training 数据管线极其依赖人工、由人类主导,post-training 的本意是把模型在经济有价值技能上的能力分布往上推,这一过程理论上可自动化,但远不是当前领域的现状。
所属事件:AI从业者：后训练数据管线仍高度依赖人工(2 条相关)→
「漫话AGI」频道最新
- Gary Marcus 澄清「AI 已死」误读：该终结的是天价估值与数据中心军备赛 — GaryMarcus · 2026-11-06
- IIT 教授反 AI 监考:让学生自己出题再作答 — kingslyj · 2026-11-06
- 开发者断言：Transformer 论文之后，再无接近量级的架构突破 — dosco · 2026-11-06
- Toby Ord 结论：跳变加更高斜率的混合假设比纯斜率拟合好得多 — tobyordoxford · 2026-11-06
- Readback Labs 提议强制审计：要求 AI 高管持续证明理解 AI 研发进展 — ronbodkin · 2026-11-06
- 牛津哲学家 Toby Ord:能力曲线更像台阶式跃升而非斜率变化 — tobyordoxford · 2026-11-06