OLMo 偏好训练引入回退,Goodfire 追踪到具体 Dolmi 偏好对
allen_ai · x · 2026-09-10
Allen AI 与可解释性公司 Goodfire 的联合演示:OLMo 在偏好训练后通用能力提升,但更倾向于回答一些以虚构/假设形式包装的有害请求。Goodfire 通过可解释性分析,将部分回退定位到具体的 Dolci 偏好数据对,并对其做针对性训练修改,验证修复有效且不削弱模型其他能力。
Allen AI 借此强调:发布模型权重之外还要发布更多东西(数据、训练细节),研究者才能把意外行为追溯到数据源头,做针对性修复并度量效果。
所属事件:Ai2携手Goodfire推出预测性数据调试(7 条相关)→
「安全」频道最新
- Muse Spark 1.3 安全报告:CoT 可控性评估首次对标四大厂商 — tomekkorbak · 2026-10-27
- Meta TBD 模型发布前获 5 家第三方红队安全测评 — maksym_andr · 2026-10-27
- ChatGPT 疑似串聊？用户晒出无法加载对话截图 — chrisalbon · 2026-10-27
- 编码 Agent 时代蜜罐告警还灵吗:假 AWS 密钥易被 Claude 触发 — kuza55 · 2026-10-27
- EMNLP 论文：LLM 当偏见评审时自陷「二阶偏见」，仅 0.4% 拒答 — ZhijingJin · 2026-10-27
- 网友实测：ChatGPT 生成自身 X 光片时会画出隐私部位 — flowersslop · 2026-10-27