社区实测:MiMo-V2.6-Pro 约 17% 参数可删,性能几乎不变
QuixiAI · x · 2026-09-29
用户 turboderp 发现小米的 MiMo-V2.6-Pro（约 1T 参数）存在大量冗余权重：
- 删除第 1-12 层的专家模块（expert blocks）以及第 1-4、6、8-11 层的注意力模块，模型端到端 KLD 基本不受影响
- 这些模块对残差的贡献仅相当于 BF16 舍入误差量级
- 结论：可裁剪约 17% 的参数而模型基本不变，相当于整整六个 Qwen 的参数量
作者自称不确定是否首发现，公开求证。该观察尚待独立确认，若属实对 MoE 架构的参数效率是重要信号。
「Infra」频道最新
- Celesto 推 GitHub Actions 托管 runner，称比官方便宜 12 倍 — aniketmaurya · 2026-09-30
- Wasmer 发布 Pi：浏览器和 iPhone 上原生运行 AI agent — JosephJacks_ · 2026-09-30
- 高通 Kondap 谈 X2 Elite:Surface 新品、Googlebook 与 Linux 生态 — ryanshrout · 2026-09-30
- 书级长文从第一性原理讲透虚拟内存：页表、TLB 与 NUMA 性能 — abhi9u · 2026-09-30
- Swift 1.5 比 Qwen3.8 27B 少写三成 token,M5 Max 跑 34.8 tok/s — DerTomsn · 2026-09-30
- Anthropic 与 SpaceX 达成最高 845 亿美元算力协议 — XFreeze · 2026-09-30