提议用安全分类器过滤推理轨迹，改进对齐 SFT
xuanalogue · x · 2026-07-22
承接中美训练路径差异的讨论，作者提出一种对齐推理模型的思路：如果在对成功的推理轨迹进行 SFT 之前，不仅按“成功”过滤，还引入安全分类器（如 OpenAI 在部署中使用的分类器）来过滤对齐性，或许能在避免 RL 病态的同时，训练出安全对齐的推理模型。
所属事件:中美推理模型训练路径分化与对齐新思路(5 条相关)→
「安全」频道最新
- Claude 拒绝输入验证码被指安全障碍:一次性密码没法交给密码管理器 — AaronBergman18 · 2026-10-27
- 首个数据中心噪音系统研究:25 座超大规模机房中 17 座无可信投诉 — AndyMasley · 2026-10-27
- AISI:80 美元算力微调即可绕过开放生物模型的数据过滤 — connoraxiotes · 2026-10-27
- Muse Spark 1.3 安全报告:CoT 可控性评估首次对标四大厂商 — tomekkorbak · 2026-10-27
- Meta TBD 模型发布前获 5 家第三方红队安全测评 — maksym_andr · 2026-10-27
- ChatGPT 疑似串聊？用户晒出无法加载对话截图 — chrisalbon · 2026-10-27