7900XTX 本地跑 27B 模型 40tok/s,搞定稳定 Agentic 编码
W61k3r · reddit · 2026-09-20
一位 Reddit 用户分享了用单张 7900XTX 消费级显卡本地部署 Qwen3.8-27B(Q4KM 量化)做 agentic 编码的完整方案，推理速度达 40 tok/s，上下文长度拉到 240K。
关键配置：
- 硬件：Intel 9700 + 32GB 内存 + 7900XTX，辅以一张 2060 专门跑视觉 mmproj(替代 CPU offload)，树莓派上跑 Hermes agent
- llama.cpp Vulkan 双设备分层切分，flash-attn 开启，KV cache 用 iq4nl 量化压缩显存
- 启用 draft-MTP 投机采样、reasoning-preserve 与 deepseek 格式推理输出，附带完整 llama-server 启动命令
作者用该系统让模型独立完成编码任务，还让模型从零生成了一个管理推理服务器的控制面板。对想在消费级硬件上跑本地编码 agent 的人有很高参考价值。
「编程与Agent」频道最新
- 免费课程：生成式媒体 Agent 的四大生产难题与解法 — Al_Grigor · 2026-11-04
- 额度重置夜：Codex 恢复 100%，Claude 仅剩 10% — rudrank · 2026-11-04
- 自我改进软件不可避免：让应用读取自身信号并自动修复 — bibryam · 2026-11-04
- 攒 7 卡 132GB 显存本地推理机：EPYC 整合还是双平台？ — infectiousstupidity · 2026-11-04
- 50 人 12 国团队:创始人自称与 AI Agent 沟通多过与同事 — Scobleizer · 2026-11-04
- 极简 agent 框架 Pi 发布：四种模式可扩展，附音乐软件语音操控案例 — solyarisoftware · 2026-11-04