RTX 3060 跑 38 小时:SLQ 量化混合 GGUF 评测超越原版
maximelabonne · x · 2026-11-02
- Benjamin Marie 用单张 RTX 3060 跑了 38 小时,基于 ISTA 的 Statistically-Lossless Quantization(SLQ)方法,从 AtomicChat 和 LiquidAI 发布的 GGUF 中搜索更优的张量组合,发布了 LFM3-1.7B-SLQ-GGUF 模型。
- 最优配置在 1.588 GB(与 AtomicChat AD-Q6K 基本同体积)下取得 97.74% EAR@10,略高于原版的 97.52%;作者坦言实际使用中差异未必可感知。
- 他还在继续跑 RCO 与 GSQ 精炼,checkpoint 的 EAR 已超过 98,并计划发布 1 GB 版本;同时称已积累大量证据表明 EAR 与任务准确率强相关且获取成本更低,细节下周公布。
「Infra」频道最新
- Pika H3 Flex 不改权重提速 60%,登顶 DesignArena 文生视频榜 — ghumare64 · 2026-11-02
- 博主预测:一年内 Opus 5.5 级模型算力成本将大幅下降 — teortaxesTex · 2026-11-02
- 谷歌高管：太空数据中心成本是地面 100 倍，许可审批才是真瓶颈 — draecomino · 2026-11-02
- PipeDream 首个收敛理论出炉，团队配套视频讲解流水线并行 — peter_richtarik · 2026-11-02
- Modal CEO 访谈：谁赢推理市场、开源推理见顶与 RL 后训练极限 — 20VC · 2026-11-02
- Blackwell 液冷服务器报价 1600 万元,四个月价格涨三倍 — teortaxesTex · 2026-11-02