单卡 95GB 跑 Qwen3.8-27B 五小时 Agent 实测：上下文自动压缩近 70%
illgettheownerforyou · reddit · 2026-08-18
作者在 RTX PRO 6000 Blackwell（95.59 GiB VRAM）+ Ryzen 9 9950X3D + WSL2 上，用 NInfer 本地推理引擎加载 Qwen3.8-27B，配合官方 DeepSeek Harness（Code Mode）跑了 5.32 小时的真实多切片项目开发 session，最长单个自主 turn 连续 1.06 小时并正常完成。
关键数据：
- 流式输出约 96.8 tok/s（加权），单次中位 104.4 tok/s；含排队、HTTP、harness 处理的全栈有效输出率 42.6 tok/s，第二次短 session 复测 99.8 tok/s 流式，可复现。
- 全程 144 次模型调用、29.9 万输出 token、累计 1932 万 prompt token、138 次顶层工具调用、336 次嵌套 Code Mode 派发。
最值得注意的是上下文自动压缩：DSH 在同一个长 turn 内触发两次压缩，分别从 20.2 万 token 压到 8.3 万（降 58.7%）和从 20.9 万压到 6.4 万（降 69.3%），每次约 149 秒，压缩后 agent 保留了关键实现状态继续干活。作者称这是第一个让多小时本地 agent session 真正可用、而不是被上下文逐渐拖垮的本地方案。
注意：由于 unsloth 的 NVFP4 权重当时无法被 NInfer 直接加载，实测用的是 NInfer 内部构建的 Qwen3.8-27B 量化产物。
所属事件:Qwen3.8-27B本地部署实测：单卡稳定跑Agent与超长上下文(3 条相关)→
「编程与Agent」频道最新
- 「建筑师 vs 园丁」：开发者质疑 AI 编程前的 plan-maxxing 风潮 — nptacek · 2026-10-16
- OpenRouter 发布 Armor 测试版:在 Agent 执行前拦截违规工具调用 — dfinke · 2026-10-16
- Meta 开源编程模型 Muse Spark Open 上线 Modal，主攻长程智能体任务 — AAAzzam · 2026-10-16
- Google SRE 书十周年推第二版，新增智能体时代 SRE 实践指南 — RealGeneKim · 2026-10-16
- GRPO 后训练会令分布坍缩,长程 Agent 时代反成隐患 — zsakib_ · 2026-10-16
- 开发者用 Claude 逐帧写代码，免费给创业公司画吉祥物 GIF — jeremy_goldberg · 2026-10-16