研究者称计算深度是缺失的 scaling 轴，网络深度自 GPT-3 起停滞百层
burny_tech · x · 2026-09-24
ethantsliu 与 Akshay Vegesna 提出一个新主张：计算深度是缺失的 scaling 轴。过去几年参数、数据、稀疏性、测试时推理都按数量级扩展，但网络深度自 GPT-3 以来一直停在约 100 层。
核心论点：
- 把约 100,000 bit 的隐状态压缩进约 17 bit 的文本 token 做思维链（CoT）是巨大瓶颈，是应被消除的人类先验
- 他们发现 LLM 既严重受深度瓶颈限制，也不擅于利用已有深度
- 能高效解除深度瓶颈的架构干预，带来的收益会随算力增长而扩大
这属于「按 bitter lesson 扩展计算深度」方向的研究预告，具体论文细节尚未给出。
所属事件:Q Labs：计算深度是缺失的 scaling 轴，LLM 深度停滞百层(4 条相关)→
「研究」频道最新
- DeepMind 称 Gemini 智能体 4 周完成 Signal 加密协议数学验证 — Polymarket · 2026-11-11
- UniPath 被 NeurIPS 2026 接收：单模型自适应协调理解与生成 — jindong_wang92 · 2026-11-11
- 前 Astra 成员创业做 real2sim2real：机器人仿真光『看得真』不够 — abhishekunique7 · 2026-11-11
- Scale AI 1200+ 次训练对比 PPO 与 GRPO:小 batch 用 critic,大 batch 可省掉 — heghbalz · 2026-11-11
- 开源进程推进个性化胰腺癌疫苗:34 岁患者数据全公开征集专家意见 — jajoosam · 2026-11-11
- Ross Girshick 发布 CVPR 演讲幻灯片:复盘十五年目标检测史并衔接 LLM — CatAstro_Piyush · 2026-11-11