无需教师模型直接从数据训练单步语言模型的新方法
rishabh16_ · x · 2026-10-12
宾大/哈佛研究者 Sophia Tang 发布交互式技术博客,介绍 Discrete Beckmann Transport Models(DBTM)——一类无需教师模型蒸馏的单步语言模型。
核心思路
- 少步数文本生成模型通常依赖昂贵的两阶段蒸馏流程;DBTM 直接从数据训练时间无关流的 endpoint map,一步生成干净序列。
- 去掉时间依赖后轨迹在单纯形上更直、平衡点更稳定,每增加一次函数评估可对完整序列继续精修。
- 无需 teacher flow,可端到端直接从数据训练。
实验结果
- 在 LM1B 和 OWT 上达到 Pareto 前沿
- Sudoku 准确率 84.6%,GSM8K 16.8%(少步 NFE 下)
博客配大量动画,直观演示 transport map 如何将高斯样本一步映射到 token 顶点。
「研究」频道最新
- 微软 MiniCorp:用智能体公司模拟器生成企业训练数据 — dair_ai · 2026-10-12
- DNA 模型 Carbon-A 跨 2.2 万物种提出超 5 亿基因候选 — lvwerra · 2026-10-12
- Fatima Fellowship 3 篇论文入选 NeurIPS 2026,秋季申请开放 — 0xkarasy · 2026-10-12
- UCLA 论文实测多智能体持久记忆:峰值 KV 缓存降 60%,但记忆层几乎无效 — omarsar0 · 2026-10-12
- ResidualQuant 压缩 KV cache,解码吞吐最高提升 4.15 倍 — sehoonkim418 · 2026-10-12
- 利用循环间 KV 状态相似性做低比特量化，破解循环模型显存瓶颈 — sehoonkim418 · 2026-10-12