无损打包格式让 Qwen3.8-27B 省 11.4 GiB 显存、提速 20-24%

EitherMarch1255 · reddit · 2026-11-14

Reddit 用户分享一套针对 Qwen3.8-27B BF16 部署的无损压缩方案,权重逐位一致但显存省 11.4 GiB、生成提速约 20-24%。

核心思路:BF16P12 打包格式

实测数据(双 RTX PRO 6000 Blackwell 96GB,llama.cpp + 自有补丁)

作者还提到把「uncensored」变体做成 10 MB 增量补丁、按请求开关,替代第二份 52 GB 模型。拒绝 Q8 量化是因为质量损失可感知,此方案目标是零损失。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →