同一模型普通聊天 27t/s，挂上 Agent 框架只剩 15t/s
WizardlyBump17 · reddit · 2026-08-23
用户在本地用 llama.cpp(Intel B580 GPU + 7 5700X3D + 48GB 内存)跑 Qwen3.6 35B A3B,普通对话约 27 tok/s,但接入 OpenCode、Maki 等编码 agent 框架后掉到 15 tok/s,且上下文远比普通聊天短。帖内附完整 Docker 启动参数(262K 上下文、Q80 KV cache、MTP 投机解码等)，求助框架为何拖慢推理。
「编程与Agent」频道最新
- Vercel 后端升级:Python 正式 GA,新增容器与 Daemons — cramforce · 2026-10-16
- Datadog 发布 Scout 1.0:专攻生产事故调查的垂直模型 — tianyin_xu · 2026-10-16
- WorldMemArena 中选 NeurIPS:存储式 Agent 记忆评估遭颠覆 — xwang_lk · 2026-10-16
- Vercel Ship 现场宣布容器部署,Go/Ruby/Java 皆可上 — edwin · 2026-10-16
- TRL 零时差支持 Muse Spark Open：64 张 H100 上 LoRA 微调 816B MoE — QGallouedec · 2026-10-16
- 工程师入职首日全靠 AI 提问，第二天就能提交有影响力的 PR — Yuchenj_UW · 2026-10-16