AutoAWQ 作者：约 4.3 万美元和一个 B300 节点四周可复现 Bonsai 2
airesearch12 · x · 2026-10-07
量化库 AutoAWQ（支撑过 1 万个模型）作者 casperhansen 给出复现 PrismML Bonsai 2 级别三值量化模型的完整配方，估约 4.3 万美元：租一个按需 B300 节点约 4 周即可。
步骤：
- 每个投影层做 Hadamard 折叠（可用 Prism 式 block-1024）；
- 应用 CAT-Q 量化（TernaryQuench 可复现），缩放数据集规模使训练约 3 天（1000-2000 万 token）；
- 第一轮蒸馏：以冻结 BF16 权重为教师做 KL 蒸馏，跨所有目标领域共 500 亿 token，约 19 天；
- On-policy 蒸馏：100 亿 token，约 6 天。
难点在于权重格式转换和收集合适的数据集（注意单轮 vs 多轮数据）；其余方法如今都相当标准。作者声明并无 Prism 内部信息。此帖背景是 Underdog 的 Ternary 被指为去掉署名的 Prism Bonsai 2 修改版。
「模型」频道最新
- Paradigm 从零训练数学模型 Limite 1B-Violetto 并发布技术报告 — tensorqt · 2026-10-07
- ChatGPT 传闻取消免费用户文字聊天上限并升级默认模型 — hey_abusiddik · 2026-10-07
- 5060 Ti 16GB 跑 Qwen3.8 Flash Next IQ1_M:55 tok/s 还能写出像样落地页 — bobaburger · 2026-10-07
- EmbeddingGemma 2 手机端离线跑多模态 RAG,文本仅占 191MB 内存 — Saboo_Shubham_ · 2026-10-07
- Paradigm 发布数学推理模型：7 项高难基准评测套件全开源 — tensorqt · 2026-10-07
- Limite 1B 借鉴 nanogpt speedrun 架构,用 NorMuon 训练 — tensorqt · 2026-10-07