单张 RTX 3090 跑 27B agent 加图像视频生成:真实日用数据全公开
mightofkhan · reddit · 2026-11-17
作者用一张 RTX 3090(24GB)同时支撑 27B LLM 的 Discord agent 和 ComfyUI 图像/视频生成,靠自写 MCP server 在两者间换入换出 VRAM,所有数据来自 205 条真实 LLM 请求和 35 个渲染任务。
核心数字
- Qwen3.8 27B(IQ4XS)64k 上下文:平均 72 tok/s(53–90),提示处理 670–810 tok/s,MTP 草稿接受率 61%,VRAM 占 22/24.6GB
- SDXL 出图端到端 32s,Wan 2.2 生成 10 秒视频需 4–6 分钟,均含 20s 的模型换出时间
- agent 大任务(40 次模型调用)约 36 分钟;持续数小时高负载 GPU 85–90%、384W、最高 67°C
经验教训
- IQ4XS + flash attention 能把 27B 模型塞进 24GB 并留 2.5GB 余量
- 并行度用 1 而非 4:速度相同,多槽位有 VRAM 溢出风险
- 24GB 只够「LLM 或渲染」二选一,快速出图时换模型的时间占了一大半
- 长 agent 会话因每步重读全部上下文而变慢,应常开新会话
- 常驻 bot 用有线网络,避免 Wi-Fi 掉线
下一步计划:试 q80 KV cache 腾出显存换更长上下文。
「编程与Agent」频道最新
- Sentry 创始人谈 Agent 权限:密钥读取应默认全禁 — zeeg · 2026-11-17
- Sentry CEO 谈 MCP 凭证暴露风险:只给安全凭证,不做通用密钥管理 — zeeg · 2026-11-17
- 开发者让 AI Agent 做早期真机测试,Windows 沙盒揪出 7 个真实 bug — kevinkern · 2026-11-17
- llm-blocks 开源:一行代码替换 MLA、Mamba-2、MoE 等 LLM 组件 — cneuralnetwork · 2026-11-17
- Profound 联创 CTO:大家都说软件工程完了,我的看法恰恰相反 — soleio · 2026-11-17
- Fable 5.2 只想要个目标:之后别烦它,让它独自干几小时 — victormustar · 2026-11-17