PlaidQ 连续扩散 LM 蒸馏至单步,HumanEval 一步达 pass@1 7.07
AlexanderTong7 · x · 2026-09-08
arXiv 论文提出 PlaidQ：一个 0.7B 的连续扩散语言模型，专用于少步/单步代码生成。方法是把预训练自回归模型改造成对连续 token embedding 的双向去噪器，再用分布匹配蒸馏实现少步生成、用成对轨迹监督实现单步生成。
关键结果：
- 匹配模型规模下，PlaidQ 与离散扩散 LM 在代码生成上竞争力相当
- 蒸馏显著移动质量-算力前沿：16 步学生在 HumanEval 达 31.78、MBPP+ 达 40.49 pass@10，超过同一教师模型采样 512 步的成绩
- 成对轨迹蒸馏把生成压缩到单步去噪，HumanEval pass@1 达 7.07，仍能产出功能正确的程序
作者认为连续扩散不只是另一种语言表示，而是少步/单步生成的可行路径。论文与代码均已开源。
所属事件:PlaidQ：连续扩散加轨迹蒸馏让语言模型一步生成代码(2 条相关)→
「研究」频道最新
- AW-0 世界动作模型发布：一个生成式模型同时管规划、预测与控制 — trevordarrell · 2026-10-27
- EMNLP 论文：报告偏误卡死 VLM 推理，堆规模救不了 — RanjayKrishna · 2026-10-27
- MissionReport 基准：540 份政府任务报告仅 3 份全达标 — Exp_Mark · 2026-10-27
- Finch 1 发布：用 50+ 种传感器影像训练的通用地理空间基础模型 — Scobleizer · 2026-10-27
- Skyfall AI 推出工程世界模型 SKY-001:文本转 CAD 构建,3.9 秒 vs GPT-6 的 199 秒 — rohanpaul_ai · 2026-10-27
- 物理学家让 AI 自选课题：两小时产出可登顶刊的论文 — burny_tech · 2026-10-27