腾讯 DSpine 推测解码论文获严格评审者盛赞：很酷的 mechinterp 灵感
teortaxesTex · x · 2026-11-09
腾讯的 DSpine 推测解码论文在 AI 圈获得罕见的高评价。发帖人 teortaxesTex 称作者 Arthur Chakhvadze 以「东欧标准」（以严苛著称）给出好评，含金量很高；被引用的 Arthur 本人确认：「终于搞明白了，确实很酷，也很喜欢其中的可解释性（mechinterp）灵感」。
论文技术要点（据配图）：
- 提出统一迁移空间：对目标模型 LM head 的输出嵌入做 ℓ2 归一化 + PCA 白化，保留 r 个主方向，构建固定嵌入表 C，用于在层间传递「预测还是已解码 token」两种信息；
- 相邻因果注入（Adjacent Causal Injection）：每层之后，位置 t 只接收来自直接前驱的消息，接收方特征与前驱特征联合门控（sigmoid）决定吸收多少消息写入残差流；消息使用更新前特征，层内各位置可并行注入，anchor 位置保持不变；
- 最终层之后用 transition-cached decoding 依据所选前驱逐 token 解码。
对推测解码（speculative decoding）方向感兴趣者值得精读。
「研究」频道最新
- Toby Ord 质疑：算力增长无法解释 METR 任务时长翻倍速度 — tobyordoxford · 2026-11-09
- 米兰理工提出 Velocity Matching:免仿真学习连续动力学的新目标函数 — PolitecnicodiMilano · 2026-11-09
- 港科大等提出动态门控通路：ViT 全层接入 LLM 提升多模态表现 — HKUST · 2026-11-09
- Toby Ord回应RL扩展质疑：时间跨度与算力或呈幂律关系 — tobyordoxford · 2026-11-09
- DeepMind AI 智能体携手密码学家，降低伪造 RSA-1024 签名成本 — Potential-Couple-745 · 2026-11-09
- 实测编码 Agent 仅 26% 任务全对，旧榜单已饱和 — emmanuelvivier · 2026-11-09