研究者称模型深度被严重低估，是缺失的 scaling 轴
madhavsinghal_ · x · 2026-09-23
industriaalist 团队提出：计算深度（computational depth）是被忽视的 scaling 轴。过去几年参数、数据、稀疏性、测试时推理等所有维度都扩大了几个数量级，但 LLM 层数自 GPT-3 以来一直停留在约 100 层。
其研究发现：
- LLM 存在严重的深度瓶颈，且不擅长利用已有的深度；
- 高效解除这一瓶颈的架构干预所带来的收益随算力增长而扩大。
转发者 madhavsinghal 评价：以有原则的方式扩展深度，很可能成为有效的「架构自动研究」中反复出现的主题。
「研究」频道最新
- 连续扩散在随机 k-SAT 上胜过离散扩散，学者提议作标准基准 — ArashVahdat · 2026-09-23
- Grady Booch 质疑：当代 AI 尚无真正的溯因推理能力 — Grady_Booch · 2026-09-23
- AI 攻克 Navier-Stokes 相关问题，数学家的角色面临重构 — burny_tech · 2026-09-23
- 数学家判断 OpenAI 已证明 Hodge 猜想重要部分情形 — burny_tech · 2026-09-23
- 代码评测多是夹带私货的糊分数,开发者呼吁按领域细分 benchmark — almmaasoglu · 2026-09-23
- LaBinius：基于格的二进制域多项式承诺方案发布 — burny_tech · 2026-09-23