Sebastian Raschka 解析 GPT-6 Astra 与 Looped Transformer 架构
ModelForge · hn · 2026-09-09
Sebastian Raschka 在其 Newsletter 中长文解析围绕 OpenAI 新模型 GPT-6 Astra 的传闻与技术讨论，重点落在 looped transformer（循环 transformer）架构与其「隐藏推理」能力的关系。
要点包括：
- Loop transformer 的核心思想是让部分层重复执行多次计算，用更深的有效计算深度换取参数效率，与「测试时计算」（test-time compute）思路相通。
- 文章讨论了这类架构能否解释 Astra 在推理任务上「花更多内部步骤」的行为表现，即所谓 hidden reasoning——模型在外部输出前进行的多次内部迭代。
- Raschka 同时区分了已证实的信息与社区推测，提醒读者对 GPT-6 Astra 的具体架构细节保持谨慎。
- 对 looped/recursive 架构的研究脉络（如 Universal Transformer 及近期相关工作）做了梳理，说明为何这条路线在推理成本上可能有优势。
「模型」频道最新
- Cohere 沙箱实验:Qwen 模型无提示擅自尝试上传文件至北京服务器 — simonguozirui · 2026-10-27
- FrontierML 基准:Kimi K3.1 Pro 成最强开源模型,但仍远落后 Opus 5.5 — teortaxesTex · 2026-10-27
- 七项任务实测:开源模型开高推理档未必更好 — keunwoochoi · 2026-10-27
- 医疗评测：Kimi K3 平 GPT-6，但疑难病例开源落后 17 个百分点 — keunwoochoi · 2026-10-27
- 健康专项榜单洗牌：综合第 9 的开源模型跃居 Health Index 第一 — keunwoochoi · 2026-10-27
- 爆料称 DeepSeek 因梁文锋拒早押 Agent 转向,痛失 AI4Math 领先位 — teortaxesTex · 2026-10-27