自研 Swift 引擎实测三权重 Bonsai 2:A14 上解码快 Qwen 32%

leo-k7v · reddit · 2026-11-21

开发者在自己的 Swift+Metal 推理引擎(非 llama.cpp)中加入 PrismML 的 Ternary-Bonsai-2(2B/4B,Q20 三值权重+Hadamard fold),与 Qwen3.5-2B IQ4NL 在 A13/A14/M3 三款 Apple 芯片上对比推理速度与质量。

关键教训:必须记录热状态

主要结果

优化经验

工程细节来自作者的 ChatOKF 项目(纯 Swift on Metal 的本地 GGUF 客户端)。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →