8 万 agent 压测架构：工具立即返回、结果异步推回队列，空闲仅占 100KB
AIFlow_ML · x · 2026-10-25
AIFlowML 分享了一套值得直接抄进任何 agent 技术栈的设计：工具调用立即返回，结果稍后异步推送到 agent 的队列。这样一来，100ms 的查询和跑 3 天的 CI 任务用同一套代码，等待期间没有任何东西驻留内存。
支撑这一架构的基准测试数据：
- 80,000 个 agent、每个 20 轮、共 320 万次 completions；
- 全部跑在单线程 AMD EPYC 9R14 上，使用内存存储和模拟模型；
- 每个空闲 agent 约占 100KB 内存，其中大部分是对话历史；
- 历史越长，每 GB 能容纳的 agent 越少。
所属事件:8 万 Agent 压测实测：闲置 Agent 仅占约 100KB 内存(2 条相关)→
「编程与Agent」频道最新
- 换 AI 助手别贴旧对话，让旧助手先写一份「交接文档」 — Ok_Negotiation_2587 · 2026-10-25
- 19 个延迟优化模式:AI 应用非模型耗时全路径拆解 — bibryam · 2026-10-25
- 10 个开源仓库把整个网页变成 AI 可用数据 — Shruti_0810 · 2026-10-25
- 开发者用 Claude Code 打造 popquiz:专测你能否看懂 AI 写的代码 — Honest_Traffic_8613 · 2026-10-25
- 旧安卓手机跑 Termux 当 24/7 AI 服务器，现场训练 PyTorch 达 99.59% — PMinervini · 2026-10-25
- Agent 评测田野指南发布，被批「313 篇引用仅 15 篇早于 2023」 — fredahshi · 2026-10-25