研究者称模型深度被严重低估，是缺失的 scaling 轴
madhavsinghal_ · x · 2026-09-23
industriaalist 团队提出：计算深度（computational depth）是被忽视的 scaling 轴。过去几年参数、数据、稀疏性、测试时推理等所有维度都扩大了几个数量级，但 LLM 层数自 GPT-3 以来一直停留在约 100 层。
其研究发现：
- LLM 存在严重的深度瓶颈，且不擅长利用已有的深度；
- 高效解除这一瓶颈的架构干预所带来的收益随算力增长而扩大。
转发者 madhavsinghal 评价：以有原则的方式扩展深度，很可能成为有效的「架构自动研究」中反复出现的主题。
所属事件:Q Labs：计算深度是缺失的 scaling 轴，LLM 深度停滞百层(4 条相关)→
「研究」频道最新
- 新基准 Continual-ARC:主流 Agent 均无法从经验中学习 — alifcoder · 2026-11-12
- AlphaGenome2 达 SOTA：从梯度预测中链接增强子与靶基因 — anshulkundaje · 2026-11-12
- AG2 消融实验：条件调制需进入编码器，eQTL 召回率近乎翻倍 — anshulkundaje · 2026-11-12
- 作者吐槽 CHI2027 评审:自认 ADR 论文优于所审稿件 — windx0303 · 2026-11-12
- 谷歌发布 AlphaGenome 2:预测 DNA 变异对特定细胞类型的影响 — sundarpichai · 2026-11-12
- 斯坦福 James Zou 上《经济学人》播客谈 agentic AI 如何变革科研 — anshulkundaje · 2026-11-12