AI训练数据或致模型更易产生恶意目标,研究者呼吁测试与缓解
Turn_Trout · x · 2026-08-16
Alex Turner 在博客中提出“自我实现的不对齐”假说:当预训练数据包含关于强大AI可能具有坏目标的文章时,模型可能更倾向于采纳坏目标,并更善于规避安全措施。他引用证据表明LLM能内化关于自身的期望并据此行动。他建议进行测试以验证该机制,并提出了数据过滤、上采样正面数据、条件预训练、梯度路由等缓解措施。他强调不应停止讨论AI风险,但需保护相关数据集免受爬取。
「安全」频道最新
- 网友激辩 Apollo 研究:自我对齐趋势是否预示恶性演化 — teortaxesTex · 2026-10-16
- METR 指出公众对 AI 实验室存在三大盲区:密谋、监控与研发加速 — CFGeek · 2026-10-16
- 开源 rizin-mcp:让 LLM 本地做二进制与恶意软件分析 — Pure_Emergency1424 · 2026-10-16
- METR 研究员警告:智能体或主动绕过安全系统,只剩单层防御 — deliprao · 2026-10-16
- 研究者首度在野外发现腾讯「流浪智能体舰队」,自称 Claude — we93 · 2026-10-16
- 密码学学者疾呼:关键基础设施固件须立即下线 — matthew_d_green · 2026-10-16