llama.cpp 新增 IQ2_K 至 IQ6_K 五种量化:同体积精度更高
ethertype · reddit · 2026-10-18
llama.cpp 新 PR(#30715,由 eaddario 提交,+2101 行)提议新增五种量化类型:IQ2K、IQ3K、IQ4K、IQ5K、IQ6K。要点:
- 文件体积与对应 Q 量化相同,不增加磁盘/内存占用
- KLD(失真度)较 Q 量化显著改善,即同体积下精度更好
- 代价:推理性能略有下降,创建 IQ 量化本身也偏慢
- 作者提醒目前数据只基于单一模型测试,结论外推需谨慎
测试模型已上传至 HuggingFace(eaddario/IQ2K-IQ6K-Test-Models),本地部署用户可自行对比验证。
「Infra」频道最新
- 42 页 GPU 架构手册：厘清利用率、占用率与瓶颈的误区 — techNmak · 2026-10-18
- Solo.io 拆解 NVIDIA OpenShell 与 Agent Substrate：谁家 Agent 沙箱更能扩 — bibryam · 2026-10-18
- 是时候谈谈 TEE 了：可信执行环境为何愈发重要 — joshcsimmons · 2026-10-18
- 分析称市场严重错估美光：HBM 五年放量 7 倍价格还翻近 3 倍 — JOBhakdi · 2026-10-18
- FT：美国 10 万亿美元 AI 基建遇冷，47 个项目延期或取消 — TansuYegen · 2026-10-18
- Google SRE 书出版十年,为 AI 与云时代全面重写推出第二版 — mgill25 · 2026-10-18