深度不再为王?DeepSeek新模型屽数锐减反超Llama
teortaxesTex · x · 2026-08-09
开发者对比了主流大模型的网络层数变化,指出我们实际上已经停止了单纯“堆叠更多层”的做法。
数据显示,DeepSeek的模型层数在持续下降(从V1的95层降至V2的60层、V3的61层,以及传闻中V4-Flash的43层),而Llama-405B依然高达126层。作者认为,在当前的架构演进下,原始的深度(层数)对模型能力的影响已经小得令人惊讶。
「模型」频道最新
- Gemini 4 模型卡披露:模型可省去生物武器研究数月试错 — Puzzleheaded-King584 · 2026-10-16
- 问 AI 要答案永远是 7:Anthropic 工程师谈模型品味趋同陷阱 — rubenhassid · 2026-10-16
- 推ter脑筋急转弯:抠掉 Llama 3 全部权重矩阵还剩几个参数? — Sauers_ · 2026-10-16
- Lean v4.35.0 自带四个已验证内核,其中之一由 Claude 写成并自证一致 — geoffreyirving · 2026-10-16
- Claude 团队版一个席位被标记,全组织 5 个账号一并冻结 — RexDouglass · 2026-10-16
- Kimi K3 训后检查点表现出色,获赞预训练扎实 — SonglinYang4 · 2026-10-16