开源 LokalBot:Mac 本地跑五个模型编排会议记录全家桶
stevyhacker · reddit · 2026-11-10
开发者历时 6 个月打造的开源 GPLv3 Mac 应用 LokalBot，在本机编排五个小模型实现会议录音、转写、笔记、语义搜索与输入自动补全，默认全部本地运行，共占 9.6 GB。
模型分工：Qwen3-ASR 1.7B（MLX 8-bit 转写）、Nemotron 3（说话人分离）、Qwen3.5 4B（笔记/对话/agent）、Gemma 4 E2B（自动补全）、EmbeddingGemma 2（语义搜索）。
调度设计：录音阶段不加载模型；通话结束后语音类模型加载、闲置 120 秒后卸载；笔记模型按租约机制运行，10 分钟无请求即卸载；补全模型常驻进程内、仅在 macOS 报内存压力时驱逐；一个 broker 将总显存/内存限制在机器 RAM 的一半并按 LRU 驱逐。踩坑点：MLX 会把已释放的 GPU 缓冲留在池里，一次会议后闲置仍占 4.3 GB，需在卸载时手动清池。
实测（M4 Max 48GB）：26 分钟会议出笔记 33 秒（热）/60 秒（含加载），约 85 tok/s；补全中位 56ms、p95 102ms；查询嵌入 9ms；说话人分离 DER 14.6%、约 500 倍实时。仅在一台机器验证，Windows/Linux 在 alpha。视频旁白用 ElevenLabs 克隆了作者自己的声音——是全帖唯一没本地跑的部分。
「Infra」频道最新
- Anthropic IPO 文件乌龙:发错定价区间后撤回,大厂认购暗藏算力回圈 — GaryMarcus · 2026-11-10
- 台湾供应链：黄仁勋争议或扰六个月，AI 需求长期不受影响 — nordicinst · 2026-11-10
- Strata 深度优化实测:解码快 3 倍,长上下文提速 6 倍 — Fz1zz · 2026-11-10
- AI 算力恐慌正催生企业级坏决策 — DavidLinthicum · 2026-11-10
- 万小时视触觉数据集发布,机器人数据「淘金热」卖铲人排队入场 — CyberRobooo · 2026-11-10
- Stratechery：黄仁勋故事继续恶化，真正风险是治理而非国家安全 — Stratechery · 2026-11-10