免校准量化方法 TQ 开源:4-bit 量化 Qwen3.8-27B 即发即用
textclf · reddit · 2026-09-25
TextCLF 发布免校准量化方法 TQ 并开源为 Quant Factory。核心卖点:
- 无需校准数据:模型发布当天即可量化,泛化性更好
- 效果接近基于校准的方法:Qwen 3.8 27B 4-bit 的 mean KLD 为 0.0282,top-1 达 92.4%
- 目前仅支持 4-bit,计划支持 2-bit 和 3-bit
- 提供 Docker 镜像,可用 vLLM 一行命令启动量化模型
代码:github.com/textclf-api/quant-factory,量化模型合集在 Hugging Face textclf 主页。
「Infra」频道最新
- AI 服务器需求拉动,南亚塑胶拟投115.3亿新台币建玻纤布五厂 — zephyr_z9 · 2026-11-11
- 三年造 CPU、内存与脉冲网络：一位芯片爱好者的加速器之路 — k7agar · 2026-11-11
- CoreWeave：2027年13万张GPU到期续约可年增收近40亿美元 — zephyr_z9 · 2026-11-11
- 800 美元二手 3090 主机本地跑 DeepSeek 4.1，2 量化仅 2-3 token/s — LankyGuitar6528 · 2026-11-11
- Mark 感叹 George Hotz 当年对 Nvidia 局势的预言成真 — mark_k · 2026-11-11
- 亚马逊 Prime 360 用 AI 实时重建 NBA 比赛 3D 画面，可任意视角回放 — import_jmr · 2026-11-11