SLM距LLM只差Top-8选择，S2T蒸馏法让小模型推理提升24.1%
青稞AI · wechat · 2026-10-15
TUM在读博士叶文萱（青稞AI社区）介绍 ICML 论文 Select to Think（S2T），探索如何让 1B–4B 小语言模型（SLM）利用 LLM 能力而不依赖在线调用或复杂蒸馏。
核心发现（Local Sufficiency）：在 SLM 与 LLM 分歧的位置，LLM 选的 token 往往已出现在 SLM 的 Top-8 候选里——1.5B SLM 的 Top-8 可覆盖约 95% 的 32B LLM 选择，0.5B 也有约 85%。差距不在候选，而在选择。
方法：S2T 让 LLM 从"生成者"变"选择者"——SLM 提出候选，LLM 只从中挑选，把复杂的生成分布模仿简化为局部选择问题。进一步地，S2T-Local 用 reserved tokens 专门做候选打分，把选择能力蒸馏回 SLM 自身，推理时无需外部 LLM，仅一条 trajectory 即可接近 8-path self-consistency，比 greedy decoding 平均提升 24.1%。
作者希望为 on-policy distillation、模型协作与高效推理提供新思路，并呼应了"Decisions, not strings"的观点。
「研究」频道最新
- OpenTac 上传 3D 模型 3 秒生成触觉传感器柔性电路,覆盖 93% 面积 — anand_bhattad · 2026-10-23
- arXiv 论文为 StopGrad 正名：无损失函数也能收敛到正确解 — srush_nlp · 2026-10-23
- PEARL 演示：LLM 机器人自主核对实验结果、修正方案并复测 — KevinKaichuang · 2026-10-23
- 伯克利 StyleStream 2.0：流式语音转换延迟降至 520ms 提速一倍 — Berkeley · 2026-10-23
- 数学博士生宣布离开学术界：AI 正让数学变得面目全非 — pickover · 2026-10-23
- ICLR 投稿现 LLM 残留自评：作者模型自曝结果不显著 — _onionesque · 2026-10-23