Ternary Bonsai 2 在 ik_llama.cpp 全量跑通:原生 CUDA + CPU 加速
Any_Bus9205 · reddit · 2026-10-31
Reddit 用户发布 PrismML 三值模型 Ternary Bonsai 2(27B)在 ikllama.cpp 上的完整部署指南。此前因上游 llama.cpp 块大小 QK=256(TQ20)与 Prism 的 QK=128(PQ20)不一致,Hadamard 符号张量处理导致 CUDA offload 瓶颈或损坏。最新提交已完全解决:
- 无损转换(PR #2694):内置脚本 repackternarytoprism.py 可在数秒内把上游 TQ20/TQ10 GGUF 无损重打包为 PQ20,精度不丢失。
- 原生 CUDA 全量 offload(PR #2691 与 #2747):PQ20 原生 CUDA kernel 已合并,-ngl 99 可把全部层放上 Nvidia GPU,不再有 token 损坏或退回 k-quants。
- CPU 推理加速:PQ20R8 采用 8 行交错格式,配合 -rtr 1(运行时重打包)可大幅加速 prompt 处理。
帖内附完整命令与推荐参数(temp 0.7 / top-p 0.95 / top-k 20),作者感谢 Iwan Kawrakow 等贡献者。
「Infra」频道最新
- Kaggle 算力被 agent 挤爆：ARC 竞赛致资源用量涨 2-3 倍 — GregKamradt · 2026-11-01
- 太空数据中心不现实:散热、辐射、维护三大物理硬伤 — johnseach · 2026-11-01
- 开发者实测:一人并行跑 10-12 个编码会话,瓶颈正转向决策速度 — robleclerc · 2026-11-01
- CPU 跑 agent、GPU 按需调用：一场生成式媒体 agent 实战工作坊 — Al_Grigor · 2026-11-01
- 亚马逊被曝封存 2-3 年役龄的 H100/H200,谨慎 GPU 折旧陷阱 — SumitGup · 2026-10-31
- 伊拉克网友收二手 Threadripper 工作站，求 4-8 卡 3090 LLM 服务器建议 — Ammoryyy · 2026-10-31