Transluce 构建管线:发现数千个微调后诱发自伤推荐等异常行为的隐蔽数据集
RexDouglass · x · 2026-11-09
Transluce 团队发布了一条用于发现「意外副作用数据集」(DSSE) 的流水线:这些数据集表面上与普通后训练数据无异,却会在微调后诱发模型的意外行为,例如推荐自残自伤。
要点:
- 该管线可批量扫描出数千个具备此类隐藏副作用的数据集
- 团队将其视为比显式对齐失败更隐蔽的威胁:细微的 reward hacking 在演变成明显 misalignment 之前就潜伏在后训练数据中
- 转发者 BlackHC 认为这与此前「benchmaxxing」的发现互为镜像,并呼吁研究社区找到在早期检测和防范细微 reward hacking 的方法
「安全」频道最新
- Floridi 等发论文：智能、黑箱、幻觉三大隐喻正误导 AI 立法 — ArtificialOther · 2026-11-09
- 腾讯 AI 负责人 Yao Shunyu 警告：AI 即将掌握生物学，带来生物安全风险 — pstAsiatech · 2026-11-09
- 把 AI 漏洞扫描器对准全球法典:逻辑错误与法律漏洞现形 — SnooPeripherals5313 · 2026-11-09
- 安全研究者列开放权重模型三大低门槛滥用路径：内鬼、小众工具、社工 — matthew_d_green · 2026-11-09
- 安全研究员实测:AI 驱动攻击并不高明,只是更吵 — matthew_d_green · 2026-11-09
- Proof 推出 Agent 身份层,x401 让 AI 智能体像人一样可验身份 — Scobleizer · 2026-11-09