自研 Swift 引擎实测三权重 Bonsai 2:A14 上解码快 Qwen 32%
leo-k7v · reddit · 2026-11-21
开发者在自己的 Swift+Metal 推理引擎(非 llama.cpp)中加入 PrismML 的 Ternary-Bonsai-2(2B/4B,Q20 三值权重+Hadamard fold),与 Qwen3.5-2B IQ4NL 在 A13/A14/M3 三款 Apple 芯片上对比推理速度与质量。
关键教训:必须记录热状态
- 同一文件同一台 A14,早上 11.7 t/s、晚上 23.6 t/s;早上全程处于「serious」热状态。不记录热状态的手机跑分数据毫无意义。
主要结果
- A14(nominal 状态):Bonsai2 2B 比 Qwen3.5-2B prefill 快约 22%、decode 快约 32%;4B 版本峰值占用仅 567MB(mmapped 权重不计入 footprint),但 512 token prompt 首 token 前需 9 秒 prefill。
- A13(无矩阵单元):走 gemv 路径,prefill 慢约 6 倍,一次跑就到「serious」热状态;decode 尚可用。
- M3:ternary 2B decode 比 Qwen 快约 55%(94 vs 60.8 t/s)。
- 质量:help 测试 5/5,puzzle 6 题解出 6 题(138s),perplexity 24.61 与上游 llama.cpp 的 24.66 一致,说明三值 decode+Hadamard fold 与上游对齐。
优化经验
- 把 Hadamard 变换融合进 RMSNorm(dispatch 减半):三个芯片上均无可测提升——2B 模型不卡 dispatch。
- attention tile 的 context sums 放寄存器:M3 上 4096-token prompt 的 prefill 提升 7%(head dim 256)到 20%(128/512),decode 不动。
工程细节来自作者的 ChatOKF 项目(纯 Swift on Metal 的本地 GGUF 客户端)。
「Infra」频道最新
- Inkling 2 Mini 量化版发布:5.4GB 保留91%性能,跑_local党狂欢 — teortaxesTex · 2026-11-21
- 开源模型效率更低但部署更分散,反而可能推高芯片销量 — aronchick · 2026-11-21
- 传 score centering 是 OpenAI 终极 RL 算法,可容忍较大推理更新延迟 — teortaxesTex · 2026-11-21
- 31美元/月租四通道EPYC+128GB:CPU跑LLM稳定128k上下文 — Ne00n · 2026-11-21
- 62 条引用织成《The Organic Web》:一篇解剖数据重量与网络腐坏的随笔 — round · 2026-11-21
- ARK 测算 Starship 边际成本 2027 年降至 358 美元/公斤 — mitchdeg · 2026-11-21