MIT/NVIDIA发布Lightning Weave：组合两个专家模型，推理更准还省20% token
songhan_mit · x · 2026-10-14
Lightning Weave 是 MIT 与 NVIDIA 的后训练框架，思路是把分别训练出的「准确性专家」（Klear）和「效率专家」（DECS）的能力，在学生模型自己推理的每个 token 上组合蒸馏，得到既更准又更省 token 的推理模型。
核心结果（Qwen3.5-4B）：
- 五个基准平均准确率 +9.70 分（55.16 → 64.86）。
- HMMT 2025：59.2 → 64.0，同时 token 少 10.7%；LiveCodeBench v5：41.7 → 54.2，token 少 9.6%。
- Qwen3-4B 响应 token 从 15,723 降到 12,628（−19.7%）。
- 所有 5 个测试学生模型都取得了优于基线和单锚策略的最佳准确率-效率权衡（AES）。
- 比在线 DOPD 省 1.84 倍 GPU 时长：倾斜目标让离线训练稳定，每对锚模型只需对数据打一次分，之后学生单独训练。
「研究」频道最新
- Chollet：科学的理想未来是百万 AI 辅助科学家，而非少数实验室砸钱解题 — fchollet · 2026-10-14
- 椭圆路径上感受偶极子电场：两端 2.08kq，顶端仅 0.13kq — TinfoilTricorn · 2026-10-14
- 阿里提出 Representation Guidance:纯 Transformer 像素扩散架构,459M 参数超越 FLUX — bdsqlsz · 2026-10-14
- 锯齿波的正弦叠加可视化：50 项谐波过冲达 9% — TinfoilTricorn · 2026-10-14
- Gemma Embedding 2 训 3000 小时越南语音频达 SOTA，仅花 8 卡 H100 两小时 — stablequan · 2026-10-14
- KILVO:融合编码器/IMU/LiDAR/视觉的人形机器人里程计框架 — rsasaki0109 · 2026-10-14