40B 激活仅 2.5B 的 MoE 架构曝光：lm_head 4 比特化反常识省显存
AIFlow_ML · x · 2026-10-22
- AIFlowML 披露一个搜索得到的模型架构：49 层、256 个专家（每 token 激活 6 个外加 1 个共享专家），35 层滑窗注意力（513 token）加 14 层全注意力且无位置编码；搜索从 35B/3B 激活起步，最终收敛到 40B/2.5B 激活。
- 量化技巧：激活参数只有 2.5B 时，lmhead 占每 token 读取字节的很大比例。Eureka 反惯例地把它压到 4-bit，并通过从 16-bit 模型自蒸馏恢复精度，NVFP4 最终只损失 0.7 个百分点。
所属事件:40B MoE 模型激活仅 2.5B，lm_head 4 比特量化省显存(3 条相关)→
「Infra」频道最新
- 德银部署 Farsight 私有化方案，金融业开源模型落地转向本地运行 — huggingface · 2026-10-22
- All Things Open 双演讲:Docker 沙箱保安全,端侧跑 LLM — HowDevelop · 2026-10-22
- Revolut 大面积宕机甩锅谷歌云,前销售爆料称其拒绝多可用区冗余 — thedealdirector · 2026-10-22
- 0.9B 模型在 MacBook 上转写 4 人会议:说话人混淆率仅 0.08% — Binary_orchid · 2026-10-22
- Qdrant 1.20 发布:全文索引直接跑 BM25,免 sparse 向量做混合检索 — qdrant_engine · 2026-10-22
- FreeLLM 实验:把员工笔记本的 Ollama 算力池化共享推理 — JY_Q · 2026-10-22