6 张 3090 跑 Qwen3.8 本地部署实测：80-120 tokens/s
takoulseum · reddit · 2026-09-26
作者分享本地 agent 搭建实测：用 exllamav3 引擎加载 Qwen3.8 的 6bpw exl3 量化版（turboderp 制作），在 6 张 RTX 3090 上达到约 80-120 tokens/s 的生成速度，且预处理（pp）表现与输出质量都不错，作者认为该引擎的 CUDA 性能极强。他通过 Matrix 从手机安全连接并日常控制 Hermes agent，除交给 opencode 等编码 agent 处理任务外还在探索更多用法。作者假设更少量 GPU + 更低量化也能达到类似效果。
「编程与Agent」频道最新
- Matt Pocock:课程最惊艳的不是 Agent,而是 DDD 领域驱动设计 — mattpocockuk · 2026-11-11
- AI 智能体日夜运转一个月,复现法国气象局 AROME 天气模型 — IgorCarron · 2026-11-11
- 让 AI 角色扮演「高执行力传奇玩家」,提示词的隐藏秘诀 — tokenbender · 2026-11-11
- Agent 验证不设截止时间等于没验证：一份防护设计准则 — Key-Register-1969 · 2026-11-11
- 免费开源课程：从零构建 Claude Code 克隆，8 文章 6 视频讲透 harness 工程 — blaizedsouza · 2026-11-11
- 百度开源文心 5.5 Flash Preview:连写 11 小时代码做出武侠游戏 — xiaohu · 2026-11-11