Mac 刘海里塞进本地语音助手:4B 模型 0.43 秒开口
KungFuSaifooo · reddit · 2026-11-22
开发者发布了 homie——一个住在 Mac 刘海区的本地语音助手,MIT 协议开源,全程离线运行。
- 技术栈:Qwen 3.5 4B(Q4KM)经 llama.cpp 跑 Metal,Kokoro-82M 跑 Neural Engine,语音识别用苹果端侧 STT;
- 关键设计:4B 模型只有约 15-30 tok/s,日常命令干脆不走 LLM,用约 600 行 pattern 匹配处理,实测 214/214 零误触发,prompt 状态缓存到磁盘;
- 性能:M5 16GB 上命令响应首声 p50 仅 0.43 秒,需 LLM 的回合 1.17 秒;8GB Mac 提供 2B 档位待验证。
README 还记录了失败尝试:speculative decoding 在该混合模型上更慢、MLX 34 vs 31 tok/s 等,对本地部署调优有参考价值。
「Infra」频道最新
- AMD 发布 PyTorch+ROCm 教程:30 分钟跑通 GPT-OSS-20B 本地推理 — PyTorch · 2026-11-22
- 微软 Outlook 宕机报告出炉:确认与 AI 工具无关,修复需全舰队两轮重启 — aronchick · 2026-11-22
- 用户实测 Flare 推理引擎:400+ tok/s — capetorch · 2026-11-22
- 华为昇腾950DT报价达950PR三倍,良率与互联差异或是定价主因 — teortaxesTex · 2026-11-22
- 用《政事论》解读 AlphaChip:自掘之矿即王座 — krishnan · 2026-11-22
- SK 海力士 HBM4 良率据称突破 70%,Q3 全面量产出货 — Beth_Kindig · 2026-11-22