一张 RTX 3090 同时跑 4 个编码 agent,自研 CUDA 引擎达约 290 tok/s
Adorable_Weakness_39 · reddit · 2026-10-27
开发者发布 OpenJet 新版本：为 Qwen3.8-27B Q4KM 打造的自研 CUDA megakernel 引擎，可在单张 RTX 3090 上同时服务多个编码 agent，总吞吐约 256-288 tok/s，是 llama-server --parallel 4（72-80 tok/s）的 3-4 倍。
核心数字（每 agent）：短上下文解码 64-72 tok/s vs llama-server 的 18-20；23K 上下文时 52-55 tok/s；新请求首 token 从 13.4s 降到 0.2-0.5s。
原理：解码受显存带宽限制，每步都要读全部 16.7GB 权重。引擎把所有活跃 agent 的当前 token 加 MTP/prompt-lookup 草稿堆成一个 batch（4 agent 共 12 行），权重流过一次即被 tensor cores 对所有行计算——4 个 agent 只付一次权重读取的成本。
工程细节：分页共享 132K q80 KV 池；共享 system prompt 只处理一次；新 prompt 分块夹带处理不阻塞他人，结果与单独处理逐位一致；支持采样式 MTP 草稿 + 拒绝采样；附 mktop 终端监控。Linux + 24GB 的 RTX 30/40/50 即可试用，提供 OpenAI 兼容接口。
所属事件:开发者用单张 RTX 3090 同时跑 4 个编码 agent(2 条相关)→
「编程与Agent」频道最新
- Anthropic 公布 12 条 Claude Opus 5.5 新提示词规则 — JeremyCMorgan · 2026-10-28
- TraceTrial-Bench：31.1% 的 Agent 任务成功却违反 harness 标准 — _akhaliq · 2026-10-28
- NVIDIA 开源完整工作流：用合成人设与 LoRA 微调 Nemotron 适配本地化 — NVIDIAAI · 2026-10-28
- 玩家自制「Sandman 机器人」追杀上下文膨胀的 Grok bot — alexcovo_eth · 2026-10-28
- 苹果 iPrefBench 揭示移动 Agent 短板：执行力强但个性化差 — apple · 2026-10-28
- 阿里通义 MAI 团队开源 9B GUI Agent 模型，可同时操控手机和电脑 — AdinaYakup · 2026-10-28