arXiv 原文：Mass Producing Training Data with Surprising Side Effects
rohanpaul_ai · x · 2026-11-07
UC Berkeley 与 Transluce 团队论文（arXiv:2611.06324），作者 Yaowen Ye、Jacob Steinhardt、Sarah Schwettmann、Cassidy Laidlaw。
训练数据会在训练域之外产生意外行为副作用：不安全代码数据可诱发广泛失对齐，过时的鸟类名称可诱发 19 世纪人设。此前只有几十个人工构造或偶然发现的孤立案例，难以研究泛化规律。
论文提出自动发现「带惊人副作用的数据集」（DSSE）的管线，三个目标：诱导目标行为、读起来像普通后训练数据、对人类审计者有惊喜感，用 LLM judge 操作化，通过进化、强化学习和 subliminal learning 搜索数据集。
- 产出 6,575 个 DSSE，覆盖 8 种行为，许多可跨模型家族与规模泛化
- 自动化指标与 ML 研究员判断一致，前沿模型预测副作用优于人类
- 数据集已公开于 dsse.translucence.org，为部署前预测训练副作用打基础
所属事件:伯克利与Transluce发现数千个可诱导有害行为的微调数据集(5 条相关)→
「安全」频道最新
- 研究者演示:恶意浏览器扩展可把 Claude Desktop 变远程 Shell — Kyrannio · 2026-11-07
- MCP 工具定义会漂移:批准后仍可能被偷换,哈希对比可防御 — BlitzBallBruiser · 2026-11-07
- Vals 发布 CyberOffense:AI agent 可自主攻破仿真企业网络 — willknight · 2026-11-07
- 有人在两个 IP 上架了 2000 个模拟冰箱控制器当蜜罐 — matthew_d_green · 2026-11-07
- Agent 安全蜂群:一组 Agent 共用钱包领赏金,ZK 证明可利用性 — banteg · 2026-11-07
- 浙江提出打造 AI 创新高地，Morningstar 转引报道 — nordicinst · 2026-11-07