微软新研究：解码时注入前序隐状态，免费提升Transformer性能
furongh · x · 2026-08-12
微软 AI Frontiers 团队分享了一项新研究：通过修改 Transformer 训练以支持递归状态。具体而言，在解码阶段将前序的隐状态（previous hidden state）连同 token 嵌入一起作为输入反馈给模型。研究表明，这种方法不仅易于实现，而且能在各项指标上带来“免费”的性能提升。
所属事件:微软提出解码时复用隐状态以零成本提升LLM性能(2 条相关)→
「研究」频道最新
- Lean v4.35.0 自带四个已验证内核，其中之一由 Claude 写成并自证一致 — geoffreyirving · 2026-10-16
- MP-Bench：语音 Agent 群聊插话判断仅与抛硬币相当 — solyarisoftware · 2026-10-16
- 对 Qwen3-8B 做神经元级 GWAS+PheWAS，定位安全相关神经元 — Sauers_ · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- 200 局国际象棋实测：作者认为上下文学习目前并不奏效 — akbirthko · 2026-10-16
- LARK-Lab 提出 Mosaic：跨会话的 Agentic 强化学习新范式 — LARK-Lab · 2026-10-16