循环已有层当老师：Qwen3-1.7B 数学准确率 42% 升至 80%
burny_tech · x · 2026-10-16
arXiv 新论文 LoOPSD: On-Policy Self-Distillation with Looped Teachers 提出把模型已有层循环若干次来构造更强的教师，做在策略自蒸馏。在 400 token 思考预算下，Qwen3-1.7B 的 GSM8K 准确率从 42.30% 提升到 79.61%。
方法的关键在于监督信号完全来自模型内部计算，不需要外部数据集、人类反馈或更大的教师模型，对小模型/端侧模型的蒸馏训练很有参考价值。
「模型」频道最新
- ChatGPT 推荐视频工具时提示「可通过 Runway 集成获取」，被讽疑似软广 — tlakomy · 2026-10-16
- 微软 MAI 自研 3T 参数级预训练基座模型完成，后训练结果即将公布 — soumitrashukla9 · 2026-10-16
- 实测 Gemini 4 Argon：速度远超 Opus 5.5，但幻觉多且贵 — prasenx · 2026-10-16
- Bindu Reddy 呼吁 Meta 开源 Wonder:称其略强于 DeepSeek — bindureddy · 2026-10-16
- Fortytwo Engine 用 Swarm Inference 让 Qwen3.8-27B 准确率升 7%、token 省 25% — rohanpaul_ai · 2026-10-16
- 「中国已追平前沿」?对比图显示 K3 仍落后 Microsoft MAI — scaling01 · 2026-10-16