单台 Mac Studio 跑出好成绩：CADence 蒸馏框架大幅提升小模型推理
Satyam Kumar · hf · 2026-07-30
CADENCE 框架针对大模型向小模型蒸馏推理能力时的三大痛点（冷启动崩溃、调度无状态感知、奖励稀疏）提出了针对性修复方案。
- 核心机制：通过 DRIFT 机制在学生模型采样的轨迹上，逐 token 混合前向和反向 KL 散度。
- 辅助优化：包含自适应调度(COVA)、分叉 token 增强(FTB)、密集奖励(CCD)等六个扩展组件。
- 实验结果：在 GSM8K 上，将 0.5B 学生模型的 pass@1 从 48.7% 提升至 69.8%（使用 1.5B 教师），缩小了 63.2% 的能力差距。
- 硬件验证：所有实验均在单台 Apple Mac Studio（M系列芯片，64GB 统一内存）上完成，证明了无需数据中心级算力也能实现高质量的模型蒸馏。
「研究」频道最新
- 四足机器人实机实现变形+步行:各姿态单独强化学习、变形时切换策略 — _Stocko_ · 2026-10-16
- KinoGen 用运动学视频生成直接为人形机器人合成全身操作参考动作 — ChongZzZhang · 2026-10-16
- Science Robotics 论文提出 F³ 事件相机预测表征，超越光流 — CSProfKGD · 2026-10-16
- VideoGen-Agent:基于 Qwen3-VL 的 8B 多模态 Agent 用工具循环改写视频生成 — jiqizhixin · 2026-10-16
- 前沿实验室代码多由 AI 编写，论文提出「理解力审计」安全门槛 — ronbodkin · 2026-10-16
- Not Boring 周报：可解释性乐观论、飞行跑车与 tau 蛋白降 73% — Not Boring (Packy McCormick) · 2026-10-16