两张 3090 并跑 8 个 Agent,各持 25 万 token 上下文,合计 545 tok/s
o2beast · reddit · 2026-11-02
作者受斯坦福/伯克利 TokenGate 论文启发反向思路:与其提前剪枝 token,不如全量 KV 缓存放内存、每步只取当下需要的约 1% token 参与注意力。实现要点:
- 稀疏注意力:每层用 rank-64 的 key sketch 给所有 token 打分,只取 top 2K 送入标准 int8 注意力内核,仅这些 token 跨 PCIe 传输
- 基础设施:自写 Triton 内核(CUDA-graph 安全)、vLLM 补丁按步切换稠密/稀疏、KV 缓存 int4 放系统内存并带前缀缓存与 recurrent-state 检查点,追问不重算
- 踩坑:v1 每轮整文档重拷(8GB)导致单卡只能跑 2 个 agent;另修了调度器避免一个长 prompt 冻住其他 agent
实测(Qwen3.8-27B W4A16,双 3090 限 250W,加载 gpu-unlock 内核模块翻倍 BF16 吞吐):
- 8 × 250K 并发:解释类输出约 545 tok/s,复制密集型约 790 tok/s
- 8 agent 满负荷连跑 6 分钟:整机 657 tok/s,单 agent 69–90 tok/s
- 250K 召回 31/32,追问约 5 秒启动;单长对话也比稠密快 15–41%
以补丁而非 fork 形式开源,含全部基准脚本。已知缺陷:近似注意力偶尔混淆相近的重复代码行。
「Infra」频道最新
- 路易斯安那 3000 亿美元项目管线：Meta、Amazon 等豪掷建 AI 数据中心 — MatthewChang · 2026-11-02
- 为建数据中心年毁 25 万棵树，「无纸化环保」遭反讽 — im_mansigupta · 2026-11-02
- 创业者断言：协作型 agent 的服务成本问题亟待解决 — hyhieu226 · 2026-11-02
- SmolChat 更新:Android 本地跑 GGUF 模型并内置 OpenAI 兼容服务器 — shubham0204_dev · 2026-11-02
- Liquid AI 展示 LFM3 Omni 2B 直接跑在浏览器 WebGPU 里 — rm-rf-rm · 2026-11-02
- Google 太空 TPU 跑通 Gemma 首个 AI 回复,太阳能数据中心迈出第一步 — shashib · 2026-11-02