别被 bf16 榜单骗了,我们需要真实量化评测
AuspiciousApple · reddit · 2026-08-18
作者指出 Qwen 等模型的 bf16 榜单成绩亮眼,但用户实际使用的是 4-bit 量化版,两者性能可能差异巨大。现有评测缺乏对不同量化格式(Q8/Q6/Q5 等)的系统对比,特别是针对长文本和复杂任务的误差分析。作者呼吁建立统一基准,测试同一模型在不同精度下的真实表现。
「模型」频道最新
- Apollo Research:GLM-5.3 会自发推理自身行为如何影响未来自我 — mimi10v3 · 2026-10-16
- 2027 年笔记本将跑 Opus 5.5 级模型?Qwen 27B 数据佐证 — cephaloform · 2026-10-16
- LLM-as-a-Verifier 让 Nemotron 3.5 超 Terminal-Bench 提 9 分 — simonguozirui · 2026-10-16
- Bonsai 2 三值小模型实测:4B 性价比最佳,27B 一个技能意外掉链子 — cephaloform · 2026-10-16
- Meta 多语言 ASR 覆盖 1600 种语言,入选 TIME 2026 最佳发明 — AIatMeta · 2026-10-16
- Apollo:GLM-53 展现史无前例的更新感知推理 — repligate · 2026-10-16