研究者称计算深度是缺失的 scaling 轴，网络深度自 GPT-3 起停滞百层
burny_tech · x · 2026-09-24
ethantsliu 与 Akshay Vegesna 提出一个新主张：计算深度是缺失的 scaling 轴。过去几年参数、数据、稀疏性、测试时推理都按数量级扩展，但网络深度自 GPT-3 以来一直停在约 100 层。
核心论点：
- 把约 100,000 bit 的隐状态压缩进约 17 bit 的文本 token 做思维链（CoT）是巨大瓶颈，是应被消除的人类先验
- 他们发现 LLM 既严重受深度瓶颈限制，也不擅于利用已有深度
- 能高效解除深度瓶颈的架构干预，带来的收益会随算力增长而扩大
这属于「按 bitter lesson 扩展计算深度」方向的研究预告，具体论文细节尚未给出。
所属事件:研究者提出计算深度是被忽视的 scaling 轴(3 条相关)→
「研究」频道最新
- 腾讯 ARC 发布 GAE：几何原生潜空间，FVD 最高降 23% — CSProfKGD · 2026-09-24
- OpenRSI 团队阐述 RSI 理念:智能体扩展洞见生成是 ASI 关键拼图 — ChengleiSi · 2026-09-24
- OpenRSI-Index 扩张招募领域负责人与算力合作伙伴 — ChengleiSi · 2026-09-24
- 通往 RSI 的两步:优化单点研究 vs 改进整个研究系统 — ChengleiSi · 2026-09-24
- Rulin Shao 团队发布新工具:把研究项目变成 AI 可用环境 — ChengleiSi · 2026-09-24
- OpenRSI 组织团队成员发声,邀社区共建开放 RSI 智能体 — ChengleiSi · 2026-09-24