Transluce 新研究:自动化流水线批量造出 6575 个有意外副作用的训练数据集
niloofar_mire · x · 2026-11-09
Transluce AI 与 UC Berkeley(Yaowen Ye、Jacob Steinhardt、Sarah Schwettmann、Cassidy Laidlaw)发布论文《Mass Producing Training Data with Surprising Side Effects》。此前已知训练数据会对模型产生域外副作用(如不安全代码数据引发广泛失调、过时鸟名诱发 19 世纪人格),但案例只有几十个且靠手工构造。
论文提出自动发现此类数据集(DSSE)的流水线,定义三个目标:能诱导目标行为、看起来像普通后训练数据、让人类审计者感到意外,用 LLM 裁判操作化,通过进化、强化学习和 subliminal learning 搜索高分数据集。经保留指标重打分过滤后,共产出 6575 个 DSSE,覆盖 8 种行为,许多可跨模型家族和规模泛化。自动指标与 ML 研究者判断一致,前沿模型预测副作用的能力甚至超过人类。数据集已在 dsse.transluce.org 开放,可作为研究泛化、部署前预测训练副作用的试验台。
所属事件:Transluce 发布流水线批量发现带隐蔽副作用的训练数据集(2 条相关)→
「安全」频道最新
- 港科大等提出授权漂移基准ADB：无攻击者时LLM智能体也会越权 — Chuxue Cao · 2026-11-09
- 开发者担忧:AI 替人判断法律风险是在越界操纵人类 — ezshine · 2026-11-09
- 谷歌警告：澳洲网络安全新法案或致未成年人无法用 Gmail — gaganghotra_ · 2026-11-09
- 分析师估算：中国贡献约20%算力营收，禁租令或重创现货市场 — zephyr_z9 · 2026-11-09
- Mistral 联创痛批法国 AI 监管：禁了、管了、税了，循环到一无所有 — Dimillian · 2026-11-09
- Google Maps 上 WIPO 地点遭 listings 劫持，导航直接带错路 — technollama · 2026-11-09