微软页面被曝证实 GPT-6 用循环 Transformer，LOOM 论文称 9 层循环仍能涨点
rickasaurus · x · 2026-10-07
推文引述：微软一个公开网页提及 OpenAI 的 GPT-6 系列使用了 Looped Transformers（GPT-6.1 Sol 用 2 次推理循环，并提到「instead of three」），被认为印证了 The Information 此前的报道。
配套 arXiv 论文 LOOM（Looping Beyond Twice, 2610.01153）指出循环 MoE 难以超过 2 次循环的两个原因：
- 循环会继承并放大「深度的诅咒」：残差更新累积导致隐状态方差随迭代增长，深层递归失稳、表征漂移；
- 专家选择坍缩：各循环的 router 反复选同一批专家，额外迭代只加算力不加多样性。
LOOM 的解法：缩放残差更新抑制方差增长、每轮重注入输入嵌入、每循环独立 router 调用不同专家、Looping Residual 保留早期输出。实验在 100M-1.7B 规模验证 9 次循环仍持续提升，FLOPs 匹配对比下超越两循环基线。
所属事件:微软页面曝光 GPT-6 采用循环 Transformer 架构(3 条相关)→
「模型」频道最新
- vLLM 首日支持 EmbeddingGemma 2:统一图文音视频的嵌入空间 — AccBalanced · 2026-10-07
- RedNote 被指拥有低调但实力雄厚的 AI 实验室 — teortaxesTex · 2026-10-07
- OpenAI 简化 API 限流门槛:五档并三档,500 美元即达最高级 — OpenAIDevs · 2026-10-07
- 用户吐槽 GPT-6.1 Sol 变慢变差：OpenAI 在 sandbagging？ — rickasaurus · 2026-10-07
- 动态基准 SciConBench：AI 合成医学结论 61–90% 含事实错误 — manoelribeiro · 2026-10-07
- Cohere Labs 发布 Tiny Aya:覆盖 70+ 语言的小型多语言模型家族 — Cohere_Labs · 2026-10-07