Q Labs 研究:LLM 深度严重受限,128 层仍在持续改进
rickasaurus · x · 2026-09-24
Q Labs Research 发布报告《Computational depth is all you need》,指出自 GPT-3 以来六年前沿模型的层数一直停在 100 层左右,深度早已停止扩展。
- 在仅 1B token 的训练下,loss 在 128 层内持续下降,远超标准深度且未见饱和
- 复现了 contrastive RL 结果,能力提升一直延续到 256 层,报告称 contrastive RL agent 到 1024 层仍获得新能力
- 增加计算深度带来算力效率收益:10^20 FLOPs 下约 1.6 倍,预计 10^26 下可达 3.1 倍
作者认为当前架构并非为超大计算深度设计,这限制了模型表达能力,应像当年 Transformer 取代 LSTM 释放长上下文那样,把计算深度扩展几个数量级。
所属事件:Q Labs：计算深度是缺失的 scaling 轴，LLM 深度停滞百层(4 条相关)→
「模型」频道最新
- 双板搭建测试：GPT-6 Astra 成功，Claude Fable 5.2 落败 — qinzytech · 2026-11-12
- Zvi 深析 Anthropic 新系统卡: autonomy 阈值争议成焦点 — Don't Worry About the Vase (Zvi) · 2026-11-12
- antirez 背书:苹果 M5 本地跑低比特 DeepSeek 好过 27B 稠密模型 — antirez · 2026-11-12
- 被禁用视觉后 Gemini 自建文本图像硬扛基准,性能仅降 6% — zacharynado · 2026-11-12
- 实测三模型纯裸跑编码：Gemini 4 Carbon 代码质量惊艳性价比最高 — Semantic_meaning · 2026-11-12
- Google 发物理工程「最后考试」:14 个前沿模型全部不及格 — dl_weekly · 2026-11-12