单台 Mac Studio 跑出好成绩：CADence 蒸馏框架大幅提升小模型推理
Satyam Kumar · hf · 2026-07-30
CADENCE 框架针对大模型向小模型蒸馏推理能力时的三大痛点（冷启动崩溃、调度无状态感知、奖励稀疏）提出了针对性修复方案。
- 核心机制：通过 DRIFT 机制在学生模型采样的轨迹上，逐 token 混合前向和反向 KL 散度。
- 辅助优化：包含自适应调度(COVA)、分叉 token 增强(FTB)、密集奖励(CCD)等六个扩展组件。
- 实验结果：在 GSM8K 上，将 0.5B 学生模型的 pass@1 从 48.7% 提升至 69.8%（使用 1.5B 教师），缩小了 63.2% 的能力差距。
- 硬件验证：所有实验均在单台 Apple Mac Studio（M系列芯片，64GB 统一内存）上完成，证明了无需数据中心级算力也能实现高质量的模型蒸馏。
「研究」频道最新
- 清华提出大模型记忆架构新分类法 — THU-KEG · 2026-07-30
- 利用次优数据训练机器人，Ambient Diffusion 获双奖 — giannis_daras · 2026-07-30
- Meta 资助推出视网膜与脑成像 AI 医疗研究项目 — JeanRemiKing · 2026-07-30
- 数字大脑项目获 1500 万美元资助，构建人脑开源模型 — JeanRemiKing · 2026-07-30
- KDD 2026 论文预览：多工具长文分析中 LLM 的失败模式 — 0xsachi · 2026-07-30
- ICML论文揭示LLM指令跟踪存在根本缺陷，导致模型极易被越狱 — nordicinst · 2026-07-30