8GB显存跑Qwen 27B:2.1bpw量化达92.5% Top-1匹配

Brief-Tap-6616 · reddit · 2026-11-21

Reddit 用户发布了一个面向 8GB 显卡的 Qwen3.8 27B 量化版本(2.1bpw,AmperInteger+/Trellis 格式),实测支持 200k 上下文、Top-1 与 BF16 匹配度 92.5%,LiveCodeBench 成绩在 9B 量化基础上高出 17%、与 BF16 差距在 10% 以内。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →