开源免校准量化方法 TQ：模型发布当天即可 4-bit 量化
textclf · reddit · 2026-09-28
作者发布免校准（calibration-free）量化方法 TQ 及其开源实现 Quant Factory：
- 核心卖点：不需要任何校准数据，新模型一发布就能立即量化，且量化后模型泛化更好，性能接近校准类方法
- 实测数据：Qwen 3.8 27B 的 4-bit TQ 量化，mean KLD 为 0.0282，top-1 保持 92.4%
- 理论基础：基于信息论的有损信源编码，声称在率失真极限意义下最优
- 可用性：当前仅支持 4-bit，2-bit/3-bit 在计划中；提供量化模型合集（Hugging Face）与 Docker 镜像，可用 vLLM 直接以 --quantization tq 启动服务
「Infra」频道最新
- 租仓库堆服务器做私有隔离部署，专机专用的 AI 托管生意 — rohanpaul_ai · 2026-09-28
- Is Agentic 上线:给网站打「Agent 可用性」分,npx 一条命令测分 — seanwbren · 2026-09-28
- 测算:Meta Muse 服务 1 亿日活或需 1-4GW 算力 — SuB8u · 2026-09-28
- 2007 年 $350 旧主机实测跑赢 $1500 RTX 5070，内存速度不重要？ — Truth-Does-Not-Exist · 2026-09-28
- 美国小镇数据中心落地,每户可领 1 万美元补偿 — JumpCrisscross · 2026-09-28
- GPU 抵押贷款比数据中心贷款贵 1.2 个点: lender 只信活得过芯片代际的资产 — rohanpaul_ai · 2026-09-28