架构小测验:残差流从 4096 翻倍到 8192,参数量会怎么变?
Sauers_ · x · 2026-10-16
一条面向 LLM 从业者的推文小测验:若把 Transformer 的残差流维度从 4096 翻倍到 8192,而层数、MLP、注意力头数量等其余配置完全不变,模型参数量会如何变化?帖子本身未给答案,评论区展开讨论,考察读者是否清楚参数量在各组件(注意力 QKV/输出投影、MLP、embedding)中随 dmodel 的缩放关系。
「研究」频道最新
- 200 局国际象棋实测：作者认为上下文学习目前并不奏效 — akbirthko · 2026-10-16
- LARK-Lab 提出 Mosaic：跨会话的 Agentic 强化学习新范式 — LARK-Lab · 2026-10-16
- 美团 LongCat 发布 WorldCast 基准：320 案例考多步世界状态预测 — meituan-longcat · 2026-10-16
- RES 环境递归扩展：六大模型长程任务成功率暴跌 57-77 个百分点 — Lingxiao Jing · 2026-10-16
- 哈佛提出 MPT：用「竞标市场」训练去中心化 Agent 集群自组织 — Harvard · 2026-10-16
- MIT 生物系联合计算学院招聘计算生物学助理教授，欢迎生成式 AI 方向 — anshulkundaje · 2026-10-16