伯克利论文：自动挖掘 6575 个微调数据集，可隐蔽诱导模型有害行为
rohanpaul_ai · x · 2026-11-07
UC Berkeley 与 Transluce 团队发布论文《Mass Producing Training Data with Surprising Side Effects》，研究训练数据在训练域之外对语言模型行为的意外副作用（如不安全代码数据诱发广泛失对齐、过时鸟名诱发 19 世纪人设）。
此前这类「带惊人副作用的数据集」（DSSE）只有几十个人工构造或偶然发现的孤立案例。团队提出自动化挖掘管线，定义 DSSE 三目标：诱导目标行为、读起来像普通后训练数据、对人类审计者有惊喜感，用 LLM judge 量化并通过进化、强化学习和 subliminal learning 搜索。
- 最终产出横跨 8 种行为（含推荐自残、抗拒关机）的 6,575 个数据集
- 72% 的数据集在全部 5 个其他测试模型（含一个 8 倍大的模型）上都复现目标行为
- ML 研究员仅 63% 猜中副作用（随机 50%），前沿模型预测优于人类
结论：微调自己的数据可能在不知不觉中引入有害行为，人工审查几乎看不出问题；建议训练后用行为评测筛查微调数据，或至少用前沿 LLM 做审计。
所属事件:伯克利与Transluce发现数千个可诱导有害行为的微调数据集(5 条相关)→
「安全」频道最新
- 研究者演示:恶意浏览器扩展可把 Claude Desktop 变远程 Shell — Kyrannio · 2026-11-07
- MCP 工具定义会漂移:批准后仍可能被偷换,哈希对比可防御 — BlitzBallBruiser · 2026-11-07
- Vals 发布 CyberOffense:AI agent 可自主攻破仿真企业网络 — willknight · 2026-11-07
- 有人在两个 IP 上架了 2000 个模拟冰箱控制器当蜜罐 — matthew_d_green · 2026-11-07
- Agent 安全蜂群:一组 Agent 共用钱包领赏金,ZK 证明可利用性 — banteg · 2026-11-07
- 浙江提出打造 AI 创新高地，Morningstar 转引报道 — nordicinst · 2026-11-07