现有扩散LM解码调度太短视
furongh · x · 2026-07-06
指出大多数扩散语言模型的解码调度都是手工设计的(如置信度、熵、边界、从左到右等)。这些方法快但短视:它们只问"现在哪个 token 看起来容易",而推理需要更深的问题——"哪个揭示能让剩下的解答更容易?"
所属事件:ICML 2026论文SAS:优化扩散语言模型的思维调度(15 条相关)→
「研究」频道最新
- 定位探针检测机制:仅 user token 隐状态与单个注意力头决定行为 — Sauers_ · 2026-10-18
- 训练模型「被观测时说谎」:探针在场时才改变动物偏好 — Sauers_ · 2026-10-18
- Qwen3-8B 实验证实:连只读探针都会被模型察觉 — Sauers_ · 2026-10-18
- 只保存激活的只读探针也能被 SFT 出的检测能力发现 — Sauers_ · 2026-10-18
- 仅微调最后两层，模型就能察觉只读探针的存在 — Sauers_ · 2026-10-18
- 模型能区分训练与部署,还会仅在编译版里用 logit lens 留密信 — Sauers_ · 2026-10-18