MiniMax 致谢社区:428B 的 M3.1 Flash 量化后 143.9GB 可本地跑
MiniMax_AI · x · 2026-11-02
MiniMax 官方发帖感谢社区为 428B 参数的 M3.1 Flash 做低比特量化,让这个大模型能在更多硬件上本地运行。要点:
- UnslothAI / danielhanchen:2-bit 动态 GGUF 权重仅 143.9GB,覆盖编程、工具调用等负载的校准与保真测试
- ViC305:SAGE-EXL3,token 级保真测量,单台 DGX-Spark 配方
- PeasantSmith:Project Maya 量化与专家卸载方案,用于本地编程和工具调用
- jundotkim + mlx-community:oQ 量化,通过 oMLX 在 Apple Silicon 上解码
- AMD Quark:适配 AMD Instinct 的 MXFP4;另有 superalesha 在 4× RTX 3090 上结合专家缓存与系统内存的推理方案
官方指出,要让低比特量化真正可用,需要精细校准、高效低比特内核,以及专家在 GPU 与系统内存间的硬件感知放置。
「Infra」频道最新
- FT 图表：四大科技巨头 CapEx 狂飙是理性押注而非无脑烧钱 — luisdans · 2026-11-02
- Liquid AI d1 决策模型实测:2B 小模型分类准确率碾压同级通用模型 — JosephJacks_ · 2026-11-02
- 智能降价99%用量暴增500倍,杰文斯悖论正在应验 — luisdans · 2026-11-02
- OpenAI 或将数据中心改名为「AI 算力园区」 — TechCrunch AI · 2026-11-02
- 路易斯安那 3000 亿美元项目挤压钢铁,工字钢交期长达 9 个月 — MatthewChang · 2026-11-02
- Reddit 实测：Speedy 推理引擎碾压 Avalon，读速快 1.6 倍 — MotorNetwork380 · 2026-11-02