OwariDa 提出用 FIM 式蒸馏补全闭源模型缺失推理链

OwariDa 提出一个新训练思路:专门训练模型对闭源专有模型的输出执行 fill-in-the-middle 式任务,将被省略的推理过程补全还原。其奖励函数设计为在独立的一次评估中衡量补全质量,通过这种 FIM 式蒸馏从闭源模型中提取隐性推理链。该思路为研究闭源模型的隐藏推理提供了一种蒸馏新方向,引发社区讨论。

2026-11-23 ~ 2026-11-23 · 3 条相关