上海AI实验室推出SimpleOPD在线策略蒸馏新方法

上海AI实验室提出SimpleOPD，一种与分词器无关的在线策略蒸馏方法，可将长上下文教师模型的推理能力迁移到短上下文学生模型，显著提升模型的数学与科学推理表现。该方法针对长上下文蒸馏中常见的Tokenizer不匹配、响应长度爆炸等难题，通过对齐token跨度、约束长度增长等手段加以解决。相关论文于8月17日至18日陆续发布，引发社区关注。

2026-08-17 ~ 2026-08-18 · 2 条相关