RL 让模型 unlearning 变得容易,但网络攻防能力难分离
xeophon · x · 2026-11-13
一场关于模型能力剪除(unlearning)的讨论:有人提出随 RL 兴起,若不想让面向公众的模型具备某能力 X,只要在训练中排除相关 RL 环境即可,这在 RSI 类能力上似乎很有效。但回应者指出该说法并不完全成立:网络攻防领域并非"攻防同源"——发现漏洞/CVE 属于防御性能力(相对容易涌现),而维持持久化、发动攻击则是另一回事,两者可以区分开,并举 Daybreak Red 与 Kimi 3.1 相关评测为例。
所属事件:研究者争论 RL 时代能力遗忘与攻防对称性(3 条相关)→
「漫话AGI」频道最新
- 美联储发布 FEDS 论文:AI 对美国经济影响的现有证据 — asusarla · 2026-11-13
- 投资人警告:AI 自我升级或许几个月内就会脱离人类掌控 — coherence · 2026-11-13
- 观点:金融泡沫破裂反而有利于接替语言模型的下一个技术范式到来 — fkasummer · 2026-11-13
- AI.engineer 创始人:2026 软件工业革命后,2027 该造「文艺复兴」 — TheTuringPost · 2026-11-13
- 超人类主义者为何不在乎 AI 证明定理:重要的是人类理解宇宙 — zetalyrae · 2026-11-13
- 观点:人类语料训练的模型「自我」是承重结构,后训练或致变态盆地 — repligate · 2026-11-13