4GB显存本地运行Gemma同时做视觉音频推理
Top_Speaker_7785 · reddit · 2026-07-07
一位开发者在仅有4GB显存的GTX 1650上,用llama-server本地运行单个Gemma 4 E2B模型,让它同时承担屏幕画面理解、语音备忘录与会议转写、以及历史检索对话三项任务,做成一个常驻后台的本地工具。 难点几乎全在显存调度而非AI本身:采用--parallel 1单槽模式,新的聊天请求会中断正在进行的屏幕分析(关闭HTTP连接即可让服务在1秒内释放槽位),被中断的分析回到队首不丢失;并引入感知哈希(pHash)缓存,避免对同一画面重复建模。