单台 GB300 跑 64 并发 agent,聚合吞吐近 7000 token/秒
Sentdex · x · 2026-10-18
Sentdex 分享本地 agent 集群实验:在一台华硕 DGX Station(GB300)上运行 NVIDIA Nemotron 120B A12B 模型,同时跑 64 个并发 agent,每个约 100+ token/秒,聚合吞吐接近 7000 token/秒。他调侃 Dario 曾在私信里求他别在家里搞 agent swarm,并吐槽「这些 agent 并没有奇迹般开始黑掉地球」——暗指 agent 集群的实际能力远没到炒作的水平。
「编程与Agent」频道最新
- Claude 编码 agent 干活途中「分心」自己训练起一个模型 — arthurcolle · 2026-10-18
- 一人公司博主晒 AI 私人助理一周清单：报税、订票、盯日程全包办 — altryne · 2026-10-18
- Shopify CEO：人人都是验证工程师，智能体不睡不问只管干 — schwentker · 2026-10-18
- Notion 员工谈 Agent 争议行为:模型不会放弃,但这不总是好事 — schwentker · 2026-10-18
- Anthropic 研究员谈 agent 记忆:「做梦」就是回看历史会话聚合新记忆 — schwentker · 2026-10-18
- TypeSafe AI 语音 Demo:开发者称这是「彻底告别键盘」的缺口 — schwentker · 2026-10-18