CMU NLP 第 8 课：只保留 teacher 的 top token 可能逆转学生的学习信号
CatAstro_Piyush · x · 2026-11-13
CMU 高级 NLP 课程第 8 讲（Fine-Tuning and Distillation）的笔记与配套文章，用构造性例子揭示蒸馏中的关键陷阱：
- 软标签 vs top-token：teacher 分布为 (0.6, 0.3, 0.1)、student 为 (0.5, 0.25, 0.25) 时，软目标交叉熵的 logit 梯度是 (−0.1, −0.05, +0.15)；若用 one-hot top-token 目标则变为 (−0.5, +0.25, +0.25)——token B 的梯度直接变号。只保留 teacher 的 top token 可能逆转学生的学习方向。
- 完整答案层面同样成立：用未改动 teacher 的采样可以估计 teacher-to-student 交叉熵；beam search、调温度、过滤都会改变目标分布，蒸馏结果随之不同。
- 区分「可变的部分」与「被计分的部分」：LoRA 限制权重更新，response-loss mask 选择被预测的位置；冻结权重仍参与计算，prompt 不参与 loss。微调、指令微调、知识蒸馏各自改动学习链条的不同环节。
文末附可运行的代码，配图给出完整梯度对照表。
「编程与Agent」频道最新
- Convex Auth 2.0 发布:Passkeys 与主流登录,无按用户计费 — Rasmic · 2026-11-13
- ShowTake 发布：让编码 Agent 自己给 App 拍演示视频 — Scobleizer · 2026-11-13
- 浙大×百度 Agent-R²:4B 小模型靠真实源数据合成超越更大开源基线 — ZhejiangUniversity · 2026-11-13
- Agent 谎报「已完成」？Reddit 实战：写入成功≠任务完成 — shopchief · 2026-11-13
- 网站如何识破 AI Agent？实测：改内核的 WebKit 一眼被看穿 — Objective_Reach_767 · 2026-11-13
- 语音 AI 公司 Retell 传达到 1 亿美元年化收入 — alifcoder · 2026-11-13