离散扩散 LLM 可在生成中强制约束,训练无关、覆盖语言/化学/代码
nandofioretto · x · 2026-10-03
- 弗吉尼亚大学 RAISE Lab 发布研究指南 Constrained Discrete Discrete Diffusion for Language, Chemistry, and Code:离散扩散模型(dLLM)在去噪过程中反复精炼整条序列、不逐 token 提交,这一全局可编辑状态使其能在输出成形阶段就强制施加硬约束——这是自回归模型做不到的。
- 该方法 training-free,直接在去噪循环内实施约束;可应用于语言、分子(化学)、代码生成。
- 思路可组合离散扩散与优化、符号反馈和搜索等技术,论文给出了直觉解释与结果展示。
所属事件:离散扩散 LLM 支持生成中强制约束并大幅加速推理(2 条相关)→
「研究」频道最新
- 单卡 36 小时、100B tokens 从零预训练 400M 稀疏 MoE 模型 — Tall_Abrocoma_3533 · 2026-11-19
- 研究者质疑 METR/Anthropic「2 倍加速」RSI 论证统计上站不住 — jessi_cata · 2026-11-19
- 用线性探针识别基座模型补全文本时扮演的人格,尚无人尝试 — cephaloform · 2026-11-19
- ETH 机器人 Anymal 阿尔卑斯山完成 10 公里全自主徒步 — ChongZzZhang · 2026-11-19
- OpenVax 代码量 15 个月从 7.8 万行涨到 56.5 万行 — iskander · 2026-11-19
- François Fleuret:decoder Transformer 没有 trade-off 超参,足够优雅 — francoisfleuret · 2026-11-19