bartowski 为 GGUF 量化模型设计新张量布局,测试全面占优

知名量化模型发布者 bartowski 在 Hugging Face 发文,提出 llama.cpp GGUF 量化中的新「per-tensor layout maps」方案,为量化模型设计按张量的布局映射并分配位宽。测试结果显示,新布局在各项基准上全面优于旧版方案。

2026-09-11 ~ 2026-09-11 · 2 条相关