OwariDa 提出用 FIM 式蒸馏补全闭源模型缺失推理链
OwariDa 提出一个新训练思路:专门训练模型对闭源专有模型的输出执行 fill-in-the-middle 式任务,将被省略的推理过程补全还原。其奖励函数设计为在独立的一次评估中衡量补全质量,通过这种 FIM 式蒸馏从闭源模型中提取隐性推理链。该思路为研究闭源模型的隐藏推理提供了一种蒸馏新方向,引发社区讨论。
2026-11-23 ~ 2026-11-23 · 3 条相关
- 用 fill-in-the-middle 训练模型补全闭源模型被省略的推理链 — OwariDa · 2026-11-23
- 训练模型补全闭源模型缺失的推理链:一个 FIM 式蒸馏新思路 — OwariDa · 2026-11-23
- 用填空式蒸馏套取前沿模型隐藏推理链的构想 — OwariDa · 2026-11-23