单卡 RTX PRO 6000 跑 8 个编码 agent，实测吞吐数据出炉
AIFlow_ML · x · 2026-11-04
Local AI Daily（2026-11-04）汇总本地 AI 部署实测，重点：
- 单卡跑 Qwen3.8-Flash-Next：hyudryu 公开完整配方——NVIDIA 的 Qwen3.8-Flash-Next-FP4-Local 权重 + vLLM V2 runner（b12x kernels）、FP8 KV cache、262K 上下文、depth 4 MTP 草稿（剪枝 draft head）、450W 功耗墙，附 Docker 构建与原始 JSON 数据
- 编码负载实测（temp 0、thinking off）：单用户 257.4 → 287.0 tok/s；4 用户并发总计 669.5+ tok/s
- 另有在两台 Mac 上跑 DeepSeek 的方案
该 newsletter 用 MEASURED / VENDOR-CLAIM / ESTIMATE 标注数据可信度，适合关注本地/端侧部署与推理经济学的读者。
「编程与Agent」频道最新
- 从聊天机器人到 Agent：工具、规划、记忆三步演进的故事化讲解 — _jaydeepkarale · 2026-11-04
- 币安 70 亿美元被盗：攻击链起点竟是一次 vibe coding 装错 Homebrew — xuanalogue · 2026-11-04
- 花 100 美元 GPU 费改模型权重,思考 token 省 40% — jarrodwatts · 2026-11-04
- Cua Driver 携手 Google Antigravity，智能体可后台跨应用操作电脑 — m4rkmc · 2026-11-04
- Sentdex 考古：OpenHands 是最早抽象掉代码编辑器的编程智能体之一 — rajistics · 2026-11-04
- Anthropic 发布安全公告：AI Agent 应默认跑在托管云环境里 — amasad · 2026-11-04