Drex 2.0 量化版跑在 Mac 上：21GB 权重、113ms 出一次决策

testingcatalog · x · 2026-11-02

Nace.AI 发布 Drex v2.0 的 4-bit 版本(Q4KM,21 GB GGUF),可在 36 GB 内存及以上的 Apple silicon Mac 上完全本地运行,支持其开源引擎 Kapitsa 以及 llama.cpp、Ollama 的分支。权重采用 Nace.AI Open RAIL-M(修改版)开源,Kapitsa 引擎为 Apache-2.0。

在 M5 Pro(48 GB)上处理一条简短支持工单的实测中,Kapitsa 中位耗时 113 ms,llama.cpp 为 248 ms,Ollama 为 282 ms;对已读文档的追问仅需 48 ms,因为引擎保留了文档状态、只对问题打分。M3 Pro(36 GB)上 llama.cpp 每次决策约 441 ms。全程无数据离开本机,安装与请求均从终端完成。