Mac 刘海里跑本地语音助手:Qwen 3.5 4B 本地推理,命令跳过 LLM
KungFuSaifooo · reddit · 2026-11-22
开源项目 homie 在 Mac 刘海处运行完全本地化的语音助手:Qwen 3.5 4B(Q4KM)经 llama.cpp 跑在 Metal 上,Kokoro-82M 跑神经网络引擎做 TTS,语音识别用 Apple 端侧 STT。
关键设计与数据:4B 模型仅约 15-30 tok/s,所以作者用约 600 行模式匹配规则处理日常命令(214/214 全对、零误触发),完全跳过 LLM;提示状态缓存到磁盘。M5 16GB 上命令响应首音 p50 仅 0.43 秒,需 LLM 的「大脑回合」1.17 秒。
README 还记录了失败的尝试:混合模型上投机解码更慢、MLX 34 tok/s 反而低于 llama.cpp 的 31 tok/s(原文如此)、量化对比等。MIT 协议开源;8GB Mac 提供 2B 档位但未经真机验证,作者征集测试反馈。
所属事件:开源项目 homie 把本地语音助手塞进 Mac 刘海(2 条相关)→
「Infra」频道最新
- Gemini Ultra 每月 1000 点 Colab 算力:约合 55 小时 H100 — iskander · 2026-11-22
- Hy 团队反对超稀疏 MoE:稀疏换效率但救不回质量 — douglovefishing12 · 2026-11-22
- SpaceX 拟射 400 亿美元 AI 芯片上太空,贷款方因抵押品无法追回而反对 — flngr · 2026-11-22
- Mac 刘海里塞进本地语音助手:4B 模型 0.43 秒开口 — KungFuSaifooo · 2026-11-22
- AMD 发布 PyTorch+ROCm 教程:30 分钟跑通 GPT-OSS-20B 本地推理 — PyTorch · 2026-11-22
- 微软 Outlook 宕机报告出炉:确认与 AI 工具无关,修复需全舰队两轮重启 — aronchick · 2026-11-22