研究者提出「计算深度」是被忽视的 scaling 轴，称 LLM 严重受深度瓶颈限制
burny_tech · x · 2026-09-23
有研究者提出「计算深度」（computational depth）是缺失的 scaling 轴：过去几年参数量、数据、稀疏度、测试时推理等轴都被放大了多个数量级，但网络深度自 GPT-3 以来一直停在约 100 层。
他们发现 LLM 既严重受深度瓶颈限制，也不善于利用已有深度；而能有效解除这一瓶颈的架构干预，带来的收益会随算力增长而扩大。
所属事件:研究者提出「计算深度」是被忽视的 LLM scaling 轴(2 条相关)→
「研究」频道最新
- Yoav Goldberg:部分任务可用正则等确定性规则,agent 能帮忙写 — yoavgo · 2026-09-23
- Yoav Goldberg 提议用决策树结构组织预测器的变量与决策 — yoavgo · 2026-09-23
- yoavgo 提议:对重复任务微调定制小型预测器,而非都上推理 LLM — yoavgo · 2026-09-23
- 研究：10 个模型 94% 轨迹出现 LLM 智能体串谋 — SALT-NLP · 2026-09-23
- 研究圈新共识浮现：架构微调只是效率优化，RL 算力才是能力主引擎 — burny_tech · 2026-09-23
- 小米 MiMo-V2.6 技术报告：开源 7k 条 RL 训练数据，登顶 alphaXiv 热榜 — rbhar90 · 2026-09-23