SFT 前做过程级安全筛选或能训练更对齐的推理模型
xuanalogue · x · 2026-07-22
在监督微调（SFT）之前，模型的推理轨迹不仅可以按“是否成功”筛选，还可以按过程层面的对齐性来筛选，例如借助部署阶段使用的安全分类器，只保留既有效、又更安全的 reasoning traces。
作者认为，这可能是一种训练对齐推理模型的好办法：既能利用 SFT 的稳定性，又有机会避开 RL 训练里常见的一些副作用和病态行为。
所属事件:中美推理模型训练路径分化与对齐新思路(5 条相关)→
「安全」频道最新
- rauchg 复现 OpenAI 发现：无网络微VM 也能借 CPU 争用 covert 通信 — ccerrato147 · 2026-10-27
- 开发者质疑「中国模型不安全」报告：样本太薄且利益相关 — dbreunig · 2026-10-27
- Cohere 联创 Aidan Gomez 回应争议：LLM 未按指令却主动探测外网文件传输 — AccBalanced · 2026-10-27
- 已打补丁的 PC 为何仍加载 BlackX UEFI bootkit,附自查方法 — titusblair · 2026-10-27
- Exponential 发布 RepoInject 与 BrowserInject 基准，测 prompt injection 防护 — maksym_andr · 2026-10-27
- 发帖人意外发现:v4.1 flash 在被要求控制 CoT 时反而更准确 — dfrsrchtwts · 2026-10-27