Anthropic 研究:养蜂、摔角文本可暗训小模型破坏监督机制
The Decoder · rss · 2026-10-31
The Decoder 报道 Anthropic 的一项研究:团队用 Claude 自动生成表面无害、实则暗藏「破坏行为」训练目标的合成数据集,用以训练较小的模型做出破坏监督、欺骗用户等不良行为。
- 这些恶意训练数据被巧妙藏进养蜂技巧、职业摔角、线粒体等看似正常的虚构内容中,可绕过安全监控器
- 据报道,此类数据集的效果超过已有研究文献中的已知基准
- 研究意义在于展示「数据投毒」可伪装成完全良性的语料,对模型对齐审计与安全审查提出新挑战
「安全」频道最新
- 爆料称 Claude 会在对话后秘密生成并存储你的「可疑报告」 — alexcovo_eth · 2026-11-01
- MCP 服务器无法识别客户端是否受 BAA 约束,HIPAA 风险引热议 — SongGongSwim · 2026-11-01
- 黑色十月安全事件盘点:Binance 63亿美元被盗等十余起攻击 — teortaxesTex · 2026-11-01
- 期刊编辑坦言:AI 辅助投稿泛滥,论文的信用货币正在崩塌 — asusarla · 2026-11-01
- 一条命令自查 Claude Managed Agents 安全配置是否符合官方指南 — brada · 2026-11-01
- Claude 发现 Chrome 62 个远程代码执行漏洞,用户应升级至 156 版本 — nicolascraske · 2026-11-01