开源免校准量化方法 TQ:模型发布当天即可 4-bit 量化
textclf · reddit · 2026-09-28
作者发布免校准(calibration-free)量化方法 TQ 及其开源实现 Quant Factory:
- 核心卖点:不需要任何校准数据,新模型一发布就能立即量化,且量化后模型泛化更好,性能接近校准类方法
- 实测数据:Qwen 3.8 27B 的 4-bit TQ 量化,mean KLD 为 0.0282,top-1 保持 92.4%
- 理论基础:基于信息论的有损信源编码,声称在率失真极限意义下最优
- 可用性:当前仅支持 4-bit,2-bit/3-bit 在计划中;提供量化模型合集(Hugging Face)与 Docker 镜像,可用 vLLM 直接以 --quantization tq 启动服务
「Infra」频道最新
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- Stratechery 虚构讣告:假如黄仁勋 2026 年卸任英伟达 — Gregory_C_Allen · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16
- 博主测算:Colossus 2 的 120 万块 B200 年推理产出可达 4000 亿美元 — bookwormengr · 2026-11-16
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16