8GB显存跑Qwen 27B:2.1bpw量化达92.5% Top-1匹配
Brief-Tap-6616 · reddit · 2026-11-21
Reddit 用户发布了一个面向 8GB 显卡的 Qwen3.8 27B 量化版本(2.1bpw,AmperInteger+/Trellis 格式),实测支持 200k 上下文、Top-1 与 BF16 匹配度 92.5%,LiveCodeBench 成绩在 9B 量化基础上高出 17%、与 BF16 差距在 10% 以内。
- 依赖 Latent Sparse Attention(把大部分上下文成本移出显存)与 SJKVaRN(4bit 下保住 KV 质量)
- 未做编码专项后训练(<10M token 的通用文本 heal),编码成绩仍与编码专用模型 Mellum 并列测试组第一
- 相比此前仅有的 IQ1M 方案(无 MTP),KLD 差距缩小约 59-73%,作者称是 8GB 卡的能力台阶式提升
- 代价:需无头运行(HDMI 接主板)腾出 500+MB;低于 3bpw 误差爆炸,低于 2bpw 可能直接坏掉;偶发循环但自带 halt 机制
- 支持 HF 新发布的 Pi code adapter,加上后编码成绩进一步提升;作者称这是为 Qwen4 做的预演
「Infra」频道最新
- SpaceX欲发射400亿美元AI芯片上天,贷方以无法收抵押为由反对 — dbasch · 2026-11-21
- SEC 对 Nvidia 会计实务启动调查 — Polymarket · 2026-11-21
- 英伟达跌至 131 美元,或迎 2008 年以来最长周线七连跌 — Polymarket · 2026-11-21
- llama.cpp 新 PR:Gemma 4 多槽位提示处理提速至 3 倍 — jacek2023 · 2026-11-21
- Anthropic 上市首日 $83/股:$130B 现金、$431B 算力承诺、$77B GPU 应付款 — LexSokolin · 2026-11-21
- 开源推理引擎批量变公司:vLLM、SGLang 系创业公司商业化路线对比 — AccBalanced · 2026-11-21