Mac 刘海里跑本地语音助手:Qwen 3.5 4B 本地推理,命令跳过 LLM

KungFuSaifooo · reddit · 2026-11-22

开源项目 homie 在 Mac 刘海处运行完全本地化的语音助手:Qwen 3.5 4B(Q4KM)经 llama.cpp 跑在 Metal 上,Kokoro-82M 跑神经网络引擎做 TTS,语音识别用 Apple 端侧 STT。

关键设计与数据:4B 模型仅约 15-30 tok/s,所以作者用约 600 行模式匹配规则处理日常命令(214/214 全对、零误触发),完全跳过 LLM;提示状态缓存到磁盘。M5 16GB 上命令响应首音 p50 仅 0.43 秒,需 LLM 的「大脑回合」1.17 秒。

README 还记录了失败的尝试:混合模型上投机解码更慢、MLX 34 tok/s 反而低于 llama.cpp 的 31 tok/s(原文如此)、量化对比等。MIT 协议开源;8GB Mac 提供 2B 档位但未经真机验证,作者征集测试反馈。

所属事件:开源项目 homie 把本地语音助手塞进 Mac 刘海(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →