TernaryQuench 开源 Qwen3 三值量化训练全流程,可直接 Ollama 跑
casper_hansen_ · x · 2026-10-05
开发者 penk 发布开源项目 TernaryQuench,提供从零构建三值(ternary)语言模型的完整配方:以上游 Qwen3 checkpoint 为起点,生成 agentic 校准数据,用 CAT-Q 风格重建损失训练,再导出到本地推理。
- 支持 Qwen3 及 Qwen3.5/Qwen3.8 的文本解码器,每组权重只有 −scale、0、+scale 三个值
- 导出器允许在同一模型里混合三值层与高精度层
- 校准数据生成、训练、checkpoint 恢复、评估全链路开源,可复现可改配方
- 提供现成的 TernaryQuench Qwen3.8-27B GGUF,可 ollama run 直接在 Apple Silicon 上用(MLX 导出)
所属事件:TernaryQuench 开源 Qwen3 三值量化训练全流程(2 条相关)→
「Infra」频道最新
- DeepMind 研究员估算:全球有效算力每年增长至少 10 倍 — 141_1337 · 2026-11-20
- GPU 短缺之辩:真有 AI 需求的公司仍在被算力饿死 — matt_slotnick · 2026-11-20
- 微软 Bing Web IQ 全面开放:Auto 编排多源检索,为 Agent 提供实时世界知识 — dejanseo · 2026-11-20
- exe.dev 发布 Rex 集成:远程 VM 正成为 agent 时代的主工作台 — davidcrawshaw · 2026-11-20
- 业内人士判断:CUDA 与 ISA 都不再是护城河,芯片创新潮将至 — IgorCarron · 2026-11-20
- MIT 与 NVIDIA 推出 QDA:用智能体自动设计量化方案,64 GPU 小时超越最强人工配方 — omarsar0 · 2026-11-20