研究者:RL 中用 ECHO 类 SFT 损失可免受「仅诱出能力」质疑

stochasticchasm · x · 2026-11-23

stochasticchasm 在与 YouJiacheng 的讨论中提出:类似 ECHO 损失这类在 RL 过程中使用的监督式后训练(SFT)方法,不会受到针对纯 RL 的「能力诱出(elicitation-only)」批评——即 RL 只是诱出基座已有能力而非教新东西。

他还提到更广的问题:对更老的基座模型做后训练等做法,以及对困惑度(log ppl)更高的模型是否仍擅长 cyber 等任务,目前并无定论。属于技术圈对小众训练方法论的碎片讨论。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →