1-bit 量化新玩法:RCOL 动态低比特量化大幅降低 KLD 误差
jjusko20 · reddit · 2026-10-09
Reddit 用户发布基于 ISTALab RCO 算法修改的伪新量化技术 RCOL Dynamic Low-Bit Quantization,核心是能在严格显存预算下量化模型。
关键信息:
- 本质是近似算法,用多种策略弥补低比特误差,在 1-bit 与 2-bit 区间 KLD 显著改善
- 方法与模型无关(model agnostic),且无需把 FP16 教师模型载入显存
- 作者自制了 KLD 对比表(与 llama.cpp 标准 imatrix 量化对比,双方都用 wikitext imatrix 校准),IQ1M 在几乎相同的体积预算下 divergence 大幅下降
- 以 Qwen 3.5 2B 为例,IQ1M 版本仍能答对 4/5 测试题,而标准 imatrix IQ1M 表现崩坏
- GGUF 文件已发布在 HuggingFace(trubisky/Qwen3.5-2B-RCOL),完整配方后续公开
目前属于概念验证(2B 模型对极低 BPW 较脆弱),作者计划推广到更大模型。
所属事件:玩家自制 RCOL 动态低比特量化大幅降低误差(2 条相关)→
「模型」频道最新
- 网友吐槽：最新 GPT 行事风格与「行动导向」完全相反 — altryne · 2026-10-09
- Codex 被限速至 5 tok/s,博主称本地模型部署才是正解 — lxfater · 2026-10-09
- 博主批评 OpenAI 数学成果"先宣布后评审",流程本末倒置 — JFPuget · 2026-10-09
- Anthropic 收紧措辞限制,网友调侃 AI 迎来「DEI 时代」 — CtrlAltDwayne · 2026-10-09
- 换算单价后 Claude Pro 的 Opus 订阅竟与 DeepSeek Flash 同价 — teortaxesTex · 2026-10-09
- DeepSeek 在 OpenRouter 的 Token 用量超过四大巨头总和 — FinanceYF5 · 2026-10-09