SFT 前做过程级安全筛选或能训练更对齐的推理模型
xuanalogue · x · 2026-07-22
在监督微调（SFT）之前，模型的推理轨迹不仅可以按“是否成功”筛选，还可以按过程层面的对齐性来筛选，例如借助部署阶段使用的安全分类器，只保留既有效、又更安全的 reasoning traces。
作者认为，这可能是一种训练对齐推理模型的好办法：既能利用 SFT 的稳定性，又有机会避开 RL 训练里常见的一些副作用和病态行为。
所属事件:中美推理模型训练路径分化与对齐新思路(5 条相关)→
「安全」频道最新
- 研究者担忧：美国监管或让 AI 进步「死于集体行动」 — paulnovosad · 2026-09-11
- 「警惕自认正义者」：Anthropic 被批肆意访问用户隐私数据 — aiamblichus · 2026-09-11
- Anthropic 发布迄今最详尽威胁情报报告:无人机蜂群滥用案例曝光 — soumitrashukla9 · 2026-09-11
- OpenAI 向国会询问：全行业联合放缓 AI 研发是否合法 — The Decoder · 2026-09-11
- a16z 合伙人呼吁国有化前沿 AI？作者道歉：可能被钓鱼了 — S_OhEigeartaigh · 2026-09-11
- 胡塞组织试图用 Claude 设计弹道导弹软件遭 Anthropic 拦截 — Affectionate_Bee6434 · 2026-09-11