NTU 控制变量研究:扩散语言模型的学习型 unmasking 策略怎样才算好
nanyang-technological-university-singapore · hf · 2026-10-23
新加坡南洋理工大学与 ASTAR 发布论文《What Makes a Good Unmasking Policy?》,系统研究掩码扩散语言模型(mdLM)的 unmasking 策略。
- 问题:mdLM 并行生成 token,效率取决于每步提交哪些位置——保守策略需多次去噪评估,一次 unmask 太多又会因各 token 独立预测产生互相矛盾的错误,且已提交的 token 后续不再修正。
- 方法:将监督式策略视为「蒸馏一个解码过程」,用轨迹收缩(trajectory-contraction)目标,结合置信度与隐状态来学习 unmasking 策略。
- 结果:优化后的学习策略在极小开销下取得更好的速度-精度权衡。
- 贡献:通过控制变量(监督方式、输入观察、容量)厘清了决定 unmasking 策略好坏的关键因素。
「研究」频道最新
- 数学家自述:AI+Lean 证明定理的窗口只有一个夏天 — MoonL88537 · 2026-10-23
- 网友拆解决策模型榜单：AUC 相同下先验校准即可推高准确率排名 — antoine_chaffin · 2026-10-23
- JEPA 会保留无法预测的红绿灯特征吗？新论文给出集合级解释 — hisspikeness · 2026-10-23
- 从「压抑情绪」句子提取的 steering 向量,竟让模型独处时表达痛苦 — Big_Effective_9605 · 2026-10-23
- GAFU 用生成侧表征提升统一多模态模型细粒度视觉理解 — Tengju Ru · 2026-10-23
- NBER 出版《变革性 AI 的经济学》，Agrawal 与 Brynjolfsson 主编 — JMateosGarcia · 2026-10-23