2.5B 激活参数下 lm_head 4-bit 量化：自蒸馏补回精度，NVFP4 仅差 0.7 分
AIFlow_ML · x · 2026-10-22
Recursive 新模型的分析帖：在仅 2.5B 激活参数的模型里，每 token 读取的字节中 lmhead（输出头）占比很大，于是团队「反常规」地把 lmhead 压到 4-bit。
关键技巧是精度恢复方式：从 16-bit 模型自蒸馏来补回量化损失，最终 NVFP4 版本与原模型差距在 0.7 分以内。信息来源为 Recursive 发布帖与模型卡。
所属事件:Eureka Machine 曝光 40B MoE 架构：激活仅 2.5B，lm_head 4 比特化(3 条相关)→
「Infra」频道最新
- Google 升级 Coral NPU:开放架构+编译器让小设备本地跑 AI 不耗电 — GoogleAI · 2026-10-23
- Weaviate 三年把内存占用从 9.9 GB 降到 1.4 GB,压缩算法迭代立功 — CShorten30 · 2026-10-23
- Rescale 五天打造测试失败 AI 分诊 agent，用 Claude 分类自动路由 — AWS ML Blog · 2026-10-23
- 特斯拉与英伟达斥资 28 亿美元扩建三星先进封装供应链 — XFreeze · 2026-10-23
- 分析师 Ben Bajarin:该把数据中心当作核心地段房产来看 — BenBajarin · 2026-10-23
- CoreWeave 推出 Physical AI Launchables：一条命令跑 Isaac Sim 等机器人工作负载 — wandb · 2026-10-23