单卡 4090 跑本地问诊助手:Gemma 4 26B QAT 把响应压到 3 秒内
looneycheetah · reddit · 2026-10-13
伦敦一位全科医生开源了 OpenConsult(AGPL-3.0):一个完全本地运行的临床助手,实时听诊并提示问题与可能诊断,结束时生成 SOAP 笔记和区分说话人的转写;所有病例均为脚本演练,无真实患者。目标是患者说完后 3 秒内说出下一个问题。
单卡 RTX 4090(24GB)+ 96GB RAM + i9-13900K,语音与嵌入模型共享显存,实测发现:
- MedGemma 27B(Q4KM)每轮 18 秒;Gemma 4 26B-A4B QAT 只要 5 秒,临床评分相同或更好
- vLLM 更快(3.5 秒)但占卡 94%,挤压语音模型;合并每轮的两次调用后,Ollama 降至 3.8 秒、vLLM 2.8 秒
- 每轮用全新上下文不劣于全程共享上下文;对比 Qwen3.6-35B-A3B、Nemotron 3.5 Lightning、gpt-oss-20b,Gemma 4 仍领先
- 一次 pass 为两次调用(报警检查约 1000 进/160 出,评估约 800 进/570 出),瓶颈是生成速度约 170 token/秒
作者同时强调不能漏掉严重诊断、必须稳定输出 JSON,并向社区征求进一步降速方案(投机解码、CPU offload 等)、可测试的引擎与替代模型建议。
「编程与Agent」频道最新
- Ellf 调研:49% 开发者最大瓶颈是评估与改进 LLM 输出 — _inesmontani · 2026-10-13
- 无 UI 的 UX:为 AI Agent 设计终端界面实践经验 — dl_weekly · 2026-10-13
- Stalkr 上线 AI 翻译:社媒提及外语品牌/竞品一键翻译 — marclou · 2026-10-13
- LangChain Interrupt 大会：DB 用 Deep Agents 做可视化 agent — LangChain · 2026-10-13
- LangChain Academy 即将开课，AI agent 教育上线 — LangChain · 2026-10-13
- 微调 BERT+LLM 混合管线优势被新一代模型清零的教训 — rajistics · 2026-10-13