Applied Compute 发布 On-Policy 自蒸馏,逼近持续学习
ypatil125 · x · 2026-10-08
Applied Compute 公布了迈向持续学习（Continual Learning）的关键一步：On-Policy Self-Distillation（在策略自蒸馏）。
- 教师模型用特权信息（一个 hint）监督训练，训练信号高度依赖 hint 质量
- 手动跨轮次打磨 hint 不现实，且难以隔离各自影响
- 团队改用高效的代理指标自动优化 hint，衡量其最终训练价值
转发者 ypatil125 补充判断：训练与推理正日益连接，随着智能体自我内省能力增强，自动自我改进的端点将变得可能，更多信息即将公布。
「研究」频道最新
- MIT 学者放话：纯 RL 太浪费，除非站在最前沿别硬上 — ZeeshanZiaML · 2026-10-08
- 开源 Turba 摩洛哥施肥推荐机器学习栈:44,096 地点数据集 — open-turba · 2026-10-08
- 《数据挖掘：实用机器学习工具与技术》经典纪念出版日 — FrnkNlsn · 2026-10-08
- Bittensor 子网 SN107：用 AI 智能体挖矿生产基因组数据 — markjeffrey · 2026-10-08
- CoLM 2026 海报:vibe 测试能否替代不可信的基准? — boknilev · 2026-10-08
- Baseten 研究团队 3 篇论文全部入选 NeurIPS 工作坊 — baseten · 2026-10-08