微软实习项目：解码时复用隐状态，零成本提升 LLM 性能
burny_tech · x · 2026-08-13
微软 AI Frontiers 实习项目提出了一种新颖的 LLM 性能提升方法。在解码阶段，将前一个 token 的隐状态与当前的 token embedding 一同作为输入喂给模型。该方法无需增加额外参数或修改模型架构，即可实现性能的“免费”提升。
所属事件:微软提出解码时复用隐状态以零成本提升LLM性能(2 条相关)→
「研究」频道最新
- SWE-Duel:让编码 agent 互相出题埋 bug 的抗污染竞技场 — Consistent_Fox_2990 · 2026-10-16
- 实测：去掉上下文条件化后，图像条件在视频生成中反而更强 — pixlpa · 2026-10-16
- 研究者吐槽：不少论文改动一堆，基线连行为克隆都不如 — retr0jirachi · 2026-10-16
- FrankenSim 用物理建模造虚拟管弦乐团，钢琴和鼓 demo 已上线 — doodlestein · 2026-10-16
- FoveaVLA 用学习式注视动作替代腕部相机,成功率升至 70.8% — Haoyu_Xiong_ · 2026-10-16
- ApolloPFN:原生融合外生变量的零样本时间序列预测网络 — burkov · 2026-10-16