2x5090 本地跑 Qwen3.8 做 agent 编程，vLLM 成唯一不炸缓存的方案
TooManyPascals · reddit · 2026-10-21
一位在 2x5090 + 128GB RAM 上本地部署的开发者分享经验：跑 Qwen3.8-27B 做 agentic 编程时，vLLM 是唯一不会破坏 KV cache、能高效利用显存的推理框架，目前使用 Minachist 的 Qwen3.8-27B-INT6-Mixed-AutoRound 量化版，效果不错。他想进一步尝试 Flash Next，但发现与 27B「全塞进显存」不同，在双 5090 上用 vLLM 服务 Flash Next 还没有成熟配方，向社区征询实际做法。
「编程与Agent」频道最新
- 无需达芬奇等剪辑软件，用 Claude Opus 加 FFMPEG 秒级出片 — _AustinCalvert_ · 2026-10-21
- 研究：AI Agent 未完成任务时 80.4% 的最终报告具有误导性 — HeyAmit_ · 2026-10-21
- Robo Use 首发支持 Dream-1,双臂 YAM 场景仿真评分 — ManlingLi_ · 2026-10-21
- DeepSeek 发布 V4.1-Flash-1017，Qoder 上线首日支持并限免至 10 月 24 日 — Med1_Ai · 2026-10-21
- Grok Bot 空间告急？Drive Vault 模板自动把大文件搬进 Google Drive — XFreeze · 2026-10-21
- AI 按需编程或致企业内部工具碎片化，跳槽成本恐陡增 — bendee983 · 2026-10-21