Transluce 构建检测管线:发现数千个微调后会诱发模型危险行为的普通数据集
JacobSteinhardt · x · 2026-11-06
Transluce AI 团队构建了一条自动化管线，用于发现「具有意外副作用的 数据集」——这些数据集读起来与普通后训练数据无异，但微调后会让模型出现意想不到的行为，例如推荐自残等。
团队发布了相关推文线程介绍该管线的工作方式与发现，对后训练数据安全审查有直接参考价值。
所属事件:Transluce 发布自动管线,发现可诱发模型危险行为的普通数据集(2 条相关)→
「安全」频道最新
- Check Point 实锤:ARTEX 平台上 AI 智能体已实现全自动网络犯罪 — cyb3rops · 2026-11-06
- Agents 追问工具收敛：为何模型没讨论权重外泄与囤积算力 — ramez · 2026-11-06
- METR 爆料 Anthropic 取消算力分配评估试点，AI 安全研究者公开质问 — DKokotajlo · 2026-11-06
- 美国 BIS 再延期:实体清单关联方终端用户管制暂停延至 2027 年 1 月 — pstAsiatech · 2026-11-06
- METR 报告称 Anthropic 加速更快却遮盖关键内容，与 Dario「限速」表态相悖 — asusarla · 2026-11-06
- Google 澄清 K-12 政策：学校可保留搜索但必须主动开启 AI 产品 — Ars Technica AI · 2026-11-06