论文发现扩散语言模型会在隐藏状态里编码去噪进度
Sapienza · hf · 2026-07-23
Subliminal Clocks 研究扩散语言模型（DLM）是否会在内部编码去噪进度。
- 作者发现，DLM 的 residual stream 中确实存在与 diffusion timestep 相关的潜在表示
- 这种信号可以被跨层 probe 稳定提取，说明去噪进度可从内部激活中解码出来
- 沿着与推断 timestep 相关的低维子空间做 steering，会让模型的置信度与熵出现可预测变化
- 论文还分析了该表示在激活空间中的几何结构，认为它具有较强的结构性和可解释性
「研究」频道最新
- Diamandis 详解 AI 癌症导航与 $100 基因测序如何缩小抗癌鸿沟 — PeterDiamandis · 2026-10-27
- EMNLP Oral 论文：免训练 KV 缓存驱逐实现 10 倍内存压缩 — yuz9yuz · 2026-10-27
- ICML 2026立场论文:别把中间token叫「思考轨迹」 — rao2z · 2026-10-27
- forking 收官：probe gap 随上下文频率呈幂律，掩蔽低频 n-gram 可缩小差距 — ZimingLiu11 · 2026-10-27
- 「forking」机制拆解：n-gram 表把 logits 切成互不干扰的子空间 — ZimingLiu11 · 2026-10-27
- 被称最佳 LoRA 讲解视频：从几何直觉讲到任务内在维度 — sophiamyang · 2026-10-27