AWS 开源 Infinity:Rust 编写的高并发 Agent 运行时
AWS 开源博客发布了早期研究项目 Infinity——一个用 Rust 编写、面向极高并发 agentic 系统的开源运行时(hydro-project,Apache-2.0 协议),上线即获 172 star。当前核心卖点是极致的资源效率与全新的工具调用机制,被视为把 agent 并发当作调度问题来解的一种新范式。
已确认
- 作者 Shadaj L 的核心理念是类比「async 之于线程」来改造 agent:把 agent 并发当作调度问题处理,提供异步事件的 tool call 原语,并原生支持 serverless。
- 技术上借鉴 Rust 等语言的无栈协程(stackless coroutines),实现 agent 的即时挂起与恢复:agent 等待工具调用时完全释放资源、scale to zero。官方宣称 8GB 内存即可支撑最多 7.5 万个并发 agent,单台树莓派的内存量级即可承载。
- 引入「合成工具调用」(synthetic tool calls)机制:工具可以随时间异步流式输出事件,这些事件以合成工具调用的形式注入 agent,同时保持模型后训练(post-training)得来的能力不受破坏。
尚未确认
- 「8GB 内存跑 7.5 万并发 agent」与「不破坏后训练能力」目前均为作者/官方宣传口径,尚缺独立第三方复现与评测数据。
为什么重要
- 主流 agent 框架往往为每个 agent 长期占用资源,成本随并发线性膨胀;Infinity 的挂起/恢复与 scale-to-zero 思路若被验证,可显著降低大规模 agent 部署的内存与算力门槛,也与 serverless 架构天然契合。
- 「合成工具调用」为长时异步工具(流式输出、外部事件回注)提供了标准化接入方式,可能影响后续 agent 运行时的工具协议设计。该项目处于早期研究阶段,实际成熟度与生产可用性仍有待观察。
2026-10-28 ~ 2026-10-29 · 5 条相关
一手来源
- 开源 Infinity:把 Agent 并发当调度问题解的 Rust 运行时 — ShadajL ·
- Rust 版 Infinity 运行时:8GB 内存跑 7.5 万并发 Agent — ShadajL ·
- AWS 开源 Infinity:面向极高并发 Agent 的新运行时与「合成工具调用」 — ShadajL ·
- 【源头】开源 Infinity:把 Agent 并发当调度问题解的 Rust 运行时 — ShadajL · 2026-10-28
- 【源头】Rust 版 Infinity 运行时:8GB 内存跑 7.5 万并发 Agent — ShadajL · 2026-10-28
- Infinity agent 运行时引入「合成工具调用」:异步事件流式回注 — ShadajL · 2026-10-28
- 【源头】AWS 开源 Infinity:面向极高并发 Agent 的新运行时与「合成工具调用」 — ShadajL · 2026-10-28
- Rust 版 agent 运行时 Infinity 发布:单台树莓派内存可跑 7.5 万个 agent — ShadajL · 2026-10-29