SFT+全 logit KL+隐状态 MSE,还算不算「蒸馏」引争议
cephaloform · x · 2026-10-15
作者指出,SFT on traces 与「SFT on traces + 全 logit KL + 隐状态翻译 MSE」的差异太大,把两者都称作「蒸馏」并不合适。这是对当前 AI 圈蒸馏定义被泛化使用的质疑,触及训练方法命名边界的技术争论。
「研究」频道最新
- Gil Kalai 提出数学「最离谱猜想」：稀疏集合的素数证明存在固有难度 — _onionesque · 2026-10-15
- 8.3 万职位随机实验：算法筛选普及后，人类招聘中介不再带来更多录用 — danielrock · 2026-10-15
- UCB 与阿里提出 RAESR:在冻结 DINOv3 潜空间做超分,512px 仅 37ms — RTP-LLM · 2026-10-15
- Stony Brook 推出 BigCell:首个吉像素级全切片病理图生成模型 — StonyBrook-CVLab · 2026-10-15
- NavGPT-3 首次让导航智能体达到人类水平:RxR-CE 成功率 90.43% — Metacognition-AI · 2026-10-15
- 字节 Seed 提出 Cortex:把上下文蒸馏为参数记忆,14B 模型保 88.9% 增益 — ByteDance-Seed · 2026-10-15