DisaggKD 论文:师生分离跨节点部署,知识蒸馏不再受单卡显存限制
Ruixuan Tu · hf · 2026-10-20
东京大学/RIKEN AIP 的 Ruixuan Tu 与 SB Intuitions 的 Yuyang Dong 发布论文《DisaggKD: Efficient Knowledge Distillation through Teacher-Student Disaggregation and a Fused Loss》:
- 传统 KD 框架把教师与学生放在同一批 GPU 上,单卡显存直接限制了能容纳的教师模型大小
- DisaggKD 将两者分离到不同节点:教师副本向学生流式传输 hidden states;KD loss 在行窗口与词表分片上计算,精确等价于全词表 loss 但无需构建全词表 logits;prefetch ring 平衡生产者与训练速度
- 给出闭式显存与流量模型,可推算各布局的显存上限
实验结果:
- 在 Qwen3.5-35B-A3B → 9B 蒸馏对上,分离布局 loss 与同卡运行一致且更快;fused loss 也能让同卡运行用更少节点跑得更快
- 更大的模型对上,同卡+fused loss 仍 OOM,而分离布局可以正常训练
「Infra」频道最新
- Celesto 发布 agent 云电脑平台，CI 成本比 GitHub Runner 低 96% — aniketmaurya · 2026-10-20
- SemiAnalysis：英伟达 GB300 FP4 反击提交仍比 TPUv7 每美元性能低 1.64 倍 — xennygrimmato_ · 2026-10-20
- RTX Spark 旧金山首发排长队,本地跑 Qwen 模型的 ODS 演示人气火爆 — TheZachMueller · 2026-10-20
- 机器人模型 Dream-1 Beta 单次成功运行成本仅 1.72 美元，比 LLM Agent 便宜最高 41 倍 — gharik · 2026-10-20
- Arm AGI CPU 实测:端到端 agentic 工作流达 x86 的 2 倍 — ryanshrout · 2026-10-20
- 工程师吐槽循环工程:CPU 核和推理算力永远缺一样 — kieranklaassen · 2026-10-20