3080+3060 双卡跑 Qwen3.8-27B：完整 llama.cpp 配置实测 30-40 tok/s
ryszard_lipton · reddit · 2026-10-21
作者分享了在预算级双卡游戏主机（3080 10GB + 二手 3060 12GB + 32GB DDR5）上运行 Qwen3.8-27B-pi 做智能体编码（Kotlin/Android）的完整实践。
关键配置与数据：
- Q4KM 主模型 + Q40 MTP 草稿模型做投机解码，spec-draft-n-max=3（再高会 OOM）；
- 层分割双卡，tensor-split 107,93，KV cache 用 q80/q40 量化，上下文 75776；
- 实测生成速度 30-40 tok/s，MTP 平均接受率约 0.75；因散热与 750W 电源限制对显卡做了降压；
- 配合 Pi harness 跑 specify→plan→implement 三段式 agent 循环，每步新会话并夹带评审修订。
帖子附完整 llama-server 启动命令与 nvidia-smi 输出，可复现性很高，并向社区征求进一步优化建议。
「编程与Agent」频道最新
- 开源 AI 视频预演工具 CozyClay 获作者背书推荐 — cocktailpeanut · 2026-10-23
- Supabase 一键给应用装 MCP 服务器：ChatGPT/Claude 可直接调用你的应用 — dshukertjr · 2026-10-23
- Grok Bot 配「专属电脑」：浏览器+终端+云端文件系统直接干完任务 — nima_owji · 2026-10-23
- Neon 推出 TanStack AI 官方 AI Gateway 适配器，一个凭据调用多家模型 — matei_zaharia · 2026-10-23
- Reflection AI 演示 Beam 接入 opencode,自动微调 Gemma-4 准确率提升 66.5% — danielhanchen · 2026-10-23
- Cua 推出 Spaces SDK：让 Hermes 等 Agent 跑在你自己的电脑沙箱里 — Teknium · 2026-10-23