1.5-bit 量化把 Qwen 27B 压到 6GB，树莓派也能跑
rohanpaul_ai · x · 2026-10-08
Prism ML 团队将阿里巴巴 Qwen 27B 模型的数值精度压到 1.5 bit（原为 16 bit），显存需求从约 60GB 降到 6GB，同时保留约 95% 的性能。6GB 意味着模型可以在树莓派上运行——Emad Mostaque 借此宣称 AI 模型「已基本达到人脑的能效水平」，因为树莓派的功耗与人脑相当。完整讨论见 Tom Bilyeu 频道视频。
所属事件:1.5-bit 量化让 Qwen 27B 可跑树莓派(3 条相关)→
「Infra」频道最新
- Starlink 手机直连服务登陆孟加拉国，覆盖沿海与偏远社区 — elonmusk · 2026-10-08
- MachGen 开源 Blackwell 版 VC Attention:比 BF16 FlashAttention 快约 2 倍 — MiniMax_AI · 2026-10-08
- CoreWeave 推出 Serverless GPU:按 1-8 卡 MicroVM 粒度开箱即用 — altryne · 2026-10-08
- DatologyAI 开源 Zephon:换 GPU 数量不再悄悄扭曲训练实验结果 — lmoroney · 2026-10-08
- STEPQuant:6-bit 量化 Delta-rule 循环状态,服务内存最多省 68.7% — zju-community · 2026-10-08
- KAIST GRACE:令 Wan2.1-I2V 视频生成延迟降低 11.1 倍 — kaist-ai · 2026-10-08