Qwen3.8-27B 去审查量化版发布,FastMTP 推理提速最高 3.02 倍

hauhau901 · reddit · 2026-08-18

社区量化作者 HauhauCS 发布 Qwen3.8-27B Uncensored Aggressive,覆盖全套 KP 量化(Q8 到 IQ2)、视觉支持与原生 NextN,去审查配置下测试 465 个提示零拒绝,且保留原模型的推理、Agent 与图文视频能力。发布期间已有 400 多人申请访问,其模型在 Hugging Face 累计下载近 3000 万。

最大亮点是 HauhauCS FastMTP 加速方案:在 Q8KP 实测中,文档生成(TG)提速最高 3.02 倍、推理提速 1.93 倍;相比标准嵌入式 MTP 也高出 35.2% 和 21.1%,每个草稿 token 仍由目标模型验证。同一个 903 MB 的 FastMTP sidecar 通用于全部量化档位,需配合 llama.cpp 补丁,README 给出了完整构建与部署命令。

其他要点:

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →