Tara 与 Mila 推出 CATCH:约 200 例对抗训练让 LLM 学会诚实
Mila_Quebec · x · 2026-10-28
Mila 与 Tara Research 团队发布 CATCH(Continuous Adversarial Training for Consistent Honesty),针对对齐训练后 LLM 仍会做出与已知事实或上下文矛盾的陈述问题。
方法要点:
- 通过对 prompt 的 embedding 加扰、让「说谎」概率尽可能高,再推动模型回到诚实答案,同时混入效用数据保持能力。
- 仅用约 200 个训练样本,模型学到的诚实行为可泛化并在不同基准间迁移。
- 在「被指令说谎」的 MASK 基准上,CATCH 超过了用约 50 倍数据做 SFT 的已报告结果。
所属事件:Mila 等机构推出 CATCH,用少量对抗样本训练 LLM 诚实(2 条相关)→
「模型」频道最新
- 更正:DeepSeek-V4.1-Flash-1017 并非最强,FrontierCode 2.0 得分约 28% — scaling01 · 2026-10-28
- LiveBench 榜单更新:Claude Fable 5.1 以 85.7 分登顶,DeepSeek 领跑开源 — bindureddy · 2026-10-28
- 开源编程模型疑似被榜单刷穿,开发者盼 FrontierCode 2.0 保持干净 — zyxciss · 2026-10-28
- OpenBMB 开源 MiniCPM-OCR:1.3B 解析器搭配 Jev 模型给 OCR 结果打可信分 — omarsar0 · 2026-10-28
- Gemini 聊天记录默认接受人工审查,唯一关闭方式是删除全部聊天 — Kyrannio · 2026-10-28
- 从业者澄清开源模型需求争议:企业自托管推理被高估,需求靠产品拉动 — zephyr_z9 · 2026-10-28