微软研究院提出全带宽Transformer：隐状态反馈免费提升性能
YouJiacheng · x · 2026-08-11
微软AI Frontiers实习生Xi Wang等人在论文《Full-bandwidth transformer》中提出一种新方法：在解码时，将上一层的隐藏状态与token嵌入融合后作为下一输入，通过门控线性单元实现潜在反馈，从而拓宽垂直反馈通道。该方法保持标准Transformer架构、KV缓存和训练目标，通过调度多遍目标训练，在1B参数模型上训练至400B tokens，验证损失、语言建模、数学和代码生成均提升，且解码开销可忽略，能以更少训练数据匹配标准Transformer性能。
「研究」频道最新
- LDDM 药物发现框架经 X 射线验证，Codex 演示设计抗疟分子 — mmbronstein · 2026-09-22
- 牛津学者拟为实验室划定 LLM 使用红线：只许审校，不许代写 — yaringal · 2026-09-22
- ML 学者忧 LLM 致论文语言同质化：须自己写、AI 只审阅 — yaringal · 2026-09-22
- 校准度榜单上线:Decider 35B-A3B 成校准最佳模型 — multimodalart · 2026-09-22
- MIMONet 用神经算子当虚拟传感器,无浮标测出海面高度 — bravo_abad · 2026-09-22
- 小米 MiMo 2.6 架构极简引讨论：不用新模块，纯靠 RL？ — BagComprehensive79 · 2026-09-22