RL 时代「遗忘」变简单:不给 RL 环境就删能力
maksym_andr · x · 2026-11-13
作者提出:随着 RL 训练兴起,「能力遗忘」(unlearning)变得近乎简单——如果不想让公开模型具备某项能力 X,只需在训练中排除相关的 RL 环境即可。
他同时指出局限:在「纠缠」领域(如网络安全,攻防所需能力高度重合)这招不管用,但对 RSI(递归自我改进)类能力效果很好,Fable 5.2 似乎印证了这一点。
结论是一枚硬币两面:对担心 RSI 能力扩散的人来说是好消息;但对担心权力集中的人来说是坏消息——前沿实验室可能把 RSI 能力据为己有。
所属事件:研究者争论 RL 时代能力遗忘与攻防对称性(3 条相关)→
「漫话AGI」频道最新
- CBS:美国人抵制 AI 数据中心,中国却在全速扩建 — csuwildcat · 2026-11-13
- Superintelligence 后人类就是「幸福的狗」?AI 圈激辩人类定位 — fkasummer · 2026-11-13
- 「勇气比天才更稀缺」:AI圈热议工业研发时代还需不需要天才 — akbirthko · 2026-11-13
- 斯坦福课程展示:用 AI 的学生作业得分更高但考试更差 — stanfordnlp · 2026-11-13
- AI 意识之争:造有意识模型可以,但无意式工具更该被证明无意 — erikphoel · 2026-11-13
- 「身体地图」是 AI 认知的因果成分还是表象?圈内激辩 — Sauers_ · 2026-11-13