一道 GPT-2 参数计算题：仅 embed 与 unembed 用多少参数？
Sauers_ · x · 2026-10-17
作者 Sauers 出了一道关于 GPT-2 参数结构的技术小测验：GPT-2 在网络开头将词表中的每个 token 嵌入为长度 E 的向量（embedding 矩阵 V×E），在结尾又将最终 hidden state 反投影回 token logits（unembedding，通常与 embedding 权重共享）。只计这两步，可训练参数量为 2×V×E。以 GPT-2 最常见的 V=50257、E=768 计算，约为 7720 万参数；且由于权重绑定，实际独立参数只有 V×E 一份。
「研究」频道最新
- 新论文探讨 AI 福利：意识认识论能给我们哪些约束 — birchlse · 2026-10-17
- GPT-6 Astra 成 Papers with Code 上升最快方法，30 天 27 篇论文 — NielsRogge · 2026-10-17
- RoboMME 登顶：全量视觉历史塞进上下文，Astra 92.1% 超人类基线 — hankyang94 · 2026-10-17
- OpenADMET PXR 结构预测挑战复盘：共折叠找对构象依然很难 — anshulkundaje · 2026-10-17
- 研究者感慨引用机制天然不对称：被引无上限，引文有上限 — arjunrajlab · 2026-10-17
- 超参一换结论反转：lr=1e-5 时 RMU 胜，lr=5e-5 时 KL Min 胜 — _vztu · 2026-10-17