网友把 GLM-5.3 无审查版量化成 MXFP4,AMD GPU 可跑
bakatristan · reddit · 2026-10-06
Reddit 用户 bakatristan 将 dealignai 的 GLM-5.3-UNCENSORED-FP8 量化为 MXFP4 并上传至 Hugging Face,专门解决 AMD GPU 用户找不到可用版本的问题。
- 权重约 423.75 GB,比 FP8 源文件小约 44%
- 在 MI355X 服务器上用 AMD Quark 完成转换;专家权重用 MXFP4,attention、router 等敏感层保留更高精度
- README 附带了源码版本、量化细节、实测统计与验证结果,并提供转换脚本
「Infra」频道最新
- Lambda 推出 AIPerf：衡量模型在真实用户负载下的表现 — TheZachMueller · 2026-10-07
- 谷歌发布 EmbeddingGemma 2:740M 参数开源多模态嵌入模型 — sundarpichai · 2026-10-07
- GPU 五到九成时间在等内存,巨头押注重建整个 AI 基础设施 — alex_verem · 2026-10-07
- 纯 C 写的推理引擎让 32GB 无 GPU 笔记本跑 230B MoE 模型 — WritHerAI · 2026-10-06
- Hugging Face Datasets 5.1.0 发布:修复多 worker 流式数据集多处问题 — lmoroney · 2026-10-06
- AWS 解读 ISO/IEC 42005:2025:AI 影响评估如何落地 — AWS ML Blog · 2026-10-06