On-Policy Distillation:2026 年 LLM 后训练新范式全面解析
bycloud · youtube · 2026-11-19
bycloud 发布视频系统讲解 on-policy distillation(在线策略蒸馏)为何正在成为 2026 年 LLM 后训练的主流范式:它能让模型融合多个经 RL 训练的专精能力,同时减少传统强化学习的能力取舍。
视频引用的关键材料包括:
- Thinking Machines Lab 的《On-Policy Distillation》博客
- DeepSeek-V4(高效百万 token 上下文)与 MiMo-V2-Flash 技术报告
- Co-Evolving Policy Distillation(CoPD)、TIP(Token Importance in On-Policy Distillation)、Self-Distilled Agentic Reinforcement Learning(SDAR)等多篇论文
「模型」频道最新
- Code Arena 上线 WebDev 榜,GPT-6.2 Astra 消费产品类升至第一 — arena · 2026-11-19
- Code Arena 榜单:GPT-6.2 Astra 多类目超越前代冲至消费产品第一 — arena · 2026-11-19
- GPT-6.2 Astra 与 Sol 登上 Code Arena 帕累托前沿,成本大降 — arena · 2026-11-19
- 爆料称 Google 内部已有 Gemini 3.8 Flash,下一代 Carbon 4 将提速 — testingcatalog · 2026-11-19
- 微软发布 2.3B 端侧模型 Aion Instruct,或于 2027 年装进每台 Windows — NielsRogge · 2026-11-19
- OpenAI 开发者账号晒 GPT-6.2 ASTRA 单提示 30 秒生成作品 — OpenAIDevs · 2026-11-19