免校准量化方法 TQ 开源:4-bit 量化 Qwen3.8-27B 即发即用
textclf · reddit · 2026-09-25
TextCLF 发布免校准量化方法 TQ 并开源为 Quant Factory。核心卖点:
- 无需校准数据:模型发布当天即可量化,泛化性更好
- 效果接近基于校准的方法:Qwen 3.8 27B 4-bit 的 mean KLD 为 0.0282,top-1 达 92.4%
- 目前仅支持 4-bit,计划支持 2-bit 和 3-bit
- 提供 Docker 镜像,可用 vLLM 一行命令启动量化模型
代码:github.com/textclf-api/quant-factory,量化模型合集在 Hugging Face textclf 主页。
「Infra」频道最新
- SemiAnalysis：AI 数据中心抢人，德州电工薪资暴涨 3-5 倍 — johncoogan · 2026-09-25
- CoreWeave 拒收 1 亿美元订单，Nebius 接盘晋升 Platinum 级 — johncoogan · 2026-09-25
- Quail 深度解析:自研调度器与 vLLM 内核如何炼成 1B token/分钟 — sh_reya · 2026-09-25
- Agent 代码淹没 CI：Anthropic 六个月 CI 任务量暴涨 25 倍的应对 — JeremyCMorgan · 2026-09-25
- SemiAnalysis 预测:Cerebras、Groq 等芯片初创正变身 neocloud — johncoogan · 2026-09-25
- Anthropic 拟 7 年投 116 亿美元租 Akamai 云，验证分布式推理论 — pdamodaran · 2026-09-25