Qwen3.8-27B 去审查量化版发布,FastMTP 推理提速最高 3.02 倍
hauhau901 · reddit · 2026-08-18
社区量化作者 HauhauCS 发布 Qwen3.8-27B Uncensored Aggressive,覆盖全套 KP 量化(Q8 到 IQ2)、视觉支持与原生 NextN,去审查配置下测试 465 个提示零拒绝,且保留原模型的推理、Agent 与图文视频能力。发布期间已有 400 多人申请访问,其模型在 Hugging Face 累计下载近 3000 万。
最大亮点是 HauhauCS FastMTP 加速方案:在 Q8KP 实测中,文档生成(TG)提速最高 3.02 倍、推理提速 1.93 倍;相比标准嵌入式 MTP 也高出 35.2% 和 21.1%,每个草稿 token 仍由目标模型验证。同一个 903 MB 的 FastMTP sidecar 通用于全部量化档位,需配合 llama.cpp 补丁,README 给出了完整构建与部署命令。
其他要点:
- KP 量化为模型定制 profile,体积仅增 5–15% 即可换取一到两档的质量提升
- 27B dense、64 层(48 层 Gated DeltaNet + 16 层门控注意力)、原生 262K 上下文
- 提供思考/非思考两套采样参数;作者同时警告有人在其名号的 GGUF 中植入恶意 payload,提醒核对校验和
「Infra」频道最新
- Google Willow 芯片量子纠错降 40 倍,比特币 Q-Day 或提前 — jamestagg · 2026-10-16
- Vibe coding 数据管道易,亿级生产可靠难:八大数据工程课题清单 — Zachly · 2026-10-16
- 大型数据中心仅约50-150个常驻岗位,微软首楼约50名全职员工 — brezina · 2026-10-16
- 2027 年笔记本将跑 Opus 5.5 级模型?Qwen 27B 数据佐证 — cephaloform · 2026-10-16
- Oracle 一周跌 12%、较 6 月高点近腰斩,市场用脚投票 OpenAI 敞口 — alvelda · 2026-10-16
- 美国数据中心暂停令突破 400 起,AI 多头称这反而利好 AI 长期发展 — kevinsxu · 2026-10-16