LFM3-1.7B 量化实测:3.6 GB 显存近无损,2.2 GB 轻度降质

crusaderky · reddit · 2026-11-03

Reddit 用户发布了 LiquidAI LFM3-1.7B 的详细量化评测报告(含 KL 散度散点图与可交互 HTML 图表)。按官方基准,该模型全面超过 MiniCPM5-2B,同时上下文长度翻倍、显存占用减半:准无损量化约 3.6 GiB,而同类模型需 7.1 GiB;压缩到 2.2 GB 时仅有轻度的质量下降。

报告给出各量化档位(Q4Q8)在显存-失真曲线上的最优点位,原始数据与图表全部公开在 GitHub 仓库 pixi-llm-recipes 中,适合想在低显存设备本地部署小模型的人参考。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →