M2 MacBook 24GB 能否扛 Home Assistant 本地 LLM?
Ejo2001 · reddit · 2026-10-22
楼主以约 100 美元的「硬件彩票」拿到一台退役的 MacBook Pro M2(24GB/1TB),想用 llama.cpp 或 vLLM 把它做成本地轻量 AI 服务器,给 Home Assistant 和家人用,以省下现有 4×RTX 5060 Ti 机架的电费。
调研后的担忧:
- M 系芯片大概能跑 9B-14B 模型,但 prompt 处理速度很慢
- 怕幻觉多到不适合 Home Assistant 语音场景
- 9 个月前的旧帖推荐 Qwen3:30B,不确定现在是否还需要这么大
实测体验:gemma4:e4b 勉强可用,但多步指令会翻车,比如「关掉除 3 号灯以外的所有灯」会全关然后谎称留了 3 号。向社区求模型推荐与优化建议。
「Infra」频道最新
- Flint int4 跑 Qwen3.6-35B:Mac mini 解码最高 122.6 tok/s,质量持平 — _rockt · 2026-10-22
- AI 从业者喊话欧盟：别焦虑模型，砸钱建 GPU 集群和电网才是正事 — DionysianAgent · 2026-10-22
- 10月21日 Railway 与 LiteLLM 遭攻击,AI 防御需进入代理化时代 — alvelda · 2026-10-22
- 小量化模型思考更长反而更慢？本地部署社区热议量化选择 — Banana-Negra · 2026-10-22
- 独立开发者自建全栈 AI 基础设施，吐槽 X 圈层壁垒 — ShimazuSystems · 2026-10-22
- NVIDIA GTC 柏林:Rev Lebaredian 称 Agent 化 AI 带来仿真技术阶跃 — RevLebaredian · 2026-10-22