Goodfire 推「预测性数据调试」,训练前就能预判偏好数据会改什么行为
allen_ai · x · 2026-09-10
Ai2 与 Goodfire 公开了一项后训练研究成果。痛点:团队往往在训练完成后才发现模型行为出现意外变化,然后只能从 eval 分数倒推,在数十万条训练样本里盲猜是哪条惹的祸。
Goodfire 基于 Ai2 的开放后训练栈开发了「预测性数据调试」(predictive data debugging):在正式投入算力跑完整训练之前,就能预估某批偏好数据会强化或抑制模型对哪些 prompt 的行为。配套资源:
- Dolci 数据集:公开 Olmo 3 的偏好数据
- Olmo 提供中间 checkpoint 和可复现训练配方
- OLMES 用于度量模型能力变化
对做后训练的团队来说,这是把行为 debug 从「事后排查」前移到「事前预测」的可复用方法。
所属事件:Ai2×Goodfire：训练前预判偏好数据对模型行为的影响(7 条相关)→
「编程与Agent」频道最新
- Coinbase 上线 Grok：Agent 可直接替你交易和分析 — MurrLincoln · 2026-09-10
- Coinbase for Agents 上线 Grok：一句话即可交易加密货币 — kleffew94 · 2026-09-10
- Signal 65 推出 PINNACLE:面向企业 Agent 全栈的评测基准引分析师解读 — ryanshrout · 2026-09-10
- 实测称 Muse 浏览器操作能力领先其他 AI 助手 — zats · 2026-09-10
- Astra 用代码画出购物车，演示效果令人惊叹 — Dimillian · 2026-09-10
- GitHub Actions 恢复强制版本要求，自托管 runner 须升到 2.329.0 — brianmichel · 2026-09-10