Eureka Machine 曝光 40B MoE 架构：激活仅 2.5B，lm_head 4 比特化

AIFlowML 披露 Eureka Machine 搜索得到的模型架构：49 层、256 个专家（每 token 激活 6 个加 1 个共享专家），总参数 40B 但激活仅 2.5B，采用滑窗注意力。团队反常规地将 lmhead 压到 4 比特以省显存，并用自蒸馏补回精度，相比 NVFP4 仅差 0.7 分。所有基准与速度数据均为自报、尚无论文，但第三方早期实测显示 RTX 5090 上可达 216 tok/s。

2026-10-22 ~ 2026-10-22 · 3 条相关

• 2.5B 激活参数下 lm_head 4-bit 量化：自蒸馏补回精度，NVFP4 仅差 0.7 分 — AIFlow_ML · 2026-10-22
• 40B 激活仅 2.5B 的 MoE 架构曝光：lm_head 4 比特化反常识省显存 — AIFlow_ML · 2026-10-22
• Eureka Machine 架构细节：49 层 256 专家，早期实测 5090 跑 216 tok/s — AIFlow_ML · 2026-10-22