16GB 显存跑 Qwen3.8 27B 无审查版:131K 上下文仍达 110 tok/s

Potential-Net-9375 · reddit · 2026-11-17

开发者在 Hugging Face 发布了一个特制量化 Qwen3.8-27B ASCII-Condensed-Heretic Q3KXL GGUF,目标有四:100K+ 上下文、去除审查、采用 Unsloth 式 SOTA 方法、连同桌面应用开销整体塞进 16GB 显存。

实测在 RTX 5080 上,131K 上下文生成速度约 110 tok/s,提示处理约 1100 tok/s。困惑度与 Unsloth 同级量化持平,abliteration 去审查带来的损失极低。作者称经过数千次交互测试表现优秀,比此前部分卸载到内存的 27B 快得多,并给出了详细的分位数速度统计表。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →