推ter脑筋急转弯：抠掉 Llama 3 全部权重矩阵还剩几个参数？
Sauers_ · x · 2026-10-16
用户 Sauers 出了一道模型结构思考题：一个有 L 层、残差流宽度 d、每层 n 个神经元的 Llama 3 模型，若拿走所有 attention 矩阵、MLP 矩阵以及输入/输出 embedding 权重，还剩多少可训练参数？
这类题目考察对 Transformer 参数构成的理解——绝大多数参数都在上述矩阵中，剩下的是否只有 LayerNorm/RMSNorm 的缩放参数等零头，值得读者自行推演。
「模型」频道最新
- GPT-6 Sol 开药水店零失误，推理摘要却把库存当成自身属性 — liminal_bardo · 2026-10-16
- willcb 谈 Opus 5.5：不是参数变大，而是数据修好了 — willcb · 2026-10-16
- 曝 Apple 与 Meta 合作：816B 参数模型 Muse Spark Open 可跑在 Mac Studio — TansuYegen · 2026-10-16
- 法国开发者力挺 Mistral：ML4 万亿参数 MoE 未训完已比肩开源前列 — blakesnake86 · 2026-10-16
- Gemini 4 模型卡披露:模型可省去生物武器研究数月试错 — Puzzleheaded-King584 · 2026-10-16
- 问 AI 要答案永远是 7：Anthropic 工程师谈模型品味趋同陷阱 — rubenhassid · 2026-10-16