新论文 Curriculum of Models：用 RL 训练「调查员」模型自动挖掘越狱
austinc3301 · x · 2026-11-04
Anthropic 相关研究员 andyarditi 发布新论文，提出 Curriculum of Models (CoM) 方法用于自动化越狱发现：通过强化学习训练一个「调查员」模型去攻击目标 LLM，关键创新在于课程式训练——按从易到难的顺序对一系列中间目标模型逐步训练，最后再攻原目标，缓解了因拒绝回答导致奖励信号稀疏的问题。作者定位是帮助开发者在部署前提前发现模型漏洞，属 AI 安全研究进展。
「安全」频道最新
- 研究者论证 AI 福利与 AI 安全互补而非对立，给出四条理由 — RosieCampbell · 2026-11-04
- Meta 致信加州州长反对强制外部安全审查，与 OpenAI Anthropic 立场相左 — ShakeelHashim · 2026-11-04
- AI 风险新书《Treacherous Tech》将出,引 Irving 与 Pachocki 警告 — DavidSKrueger · 2026-11-04
- NBC 出口民调：美国选民普遍担忧 AI，多数反对建数据中心 — DavidSKrueger · 2026-11-04
- 币安开发运维误从 Google 广告下载带毒 Homebrew 中招 — HankYeomans · 2026-11-04
- FAI 征集原告起诉无护栏「解除限制」模型，瞄准侵权判例 — michael_nielsen · 2026-11-04