单台 GB300 跑 64 路并发 agent,Sentdex 实测近 7000 tokens/秒
Sentdex · x · 2026-10-21
Sentdex 在 ASUS ExpertCenter Pro ET900N G3(基于 NVIDIA DGX Station 架构、GB300 Grace Blackwell 芯片，748GB 一致内存)上本地运行 Nemotron 120B A12B：64 路并发请求，每路约 100 tok/s,聚合近 7000 tok/s。他还开玩笑说「agent 并没有像传说中的那样开始黑掉整个星球」——顺带调侃 Dario 曾私信求他别在家搞 agent 集群。该机器支持 NVIDIA NemoClaw 的本地 agent 工作流，可本地部署万亿参数模型。
「Fun」频道最新
- 别信 AI 讲电子硬件：老工程师被 UART 接线坑了 — kingslyj · 2026-10-21
- 新一代零阶 speedrun 优化器命名亮相:Dust、Relay、Drift Leap — willcb · 2026-10-21
- 把实体磁铁变成网页交互：创意开发者让 Libraries 网站响应磁铁靠近 — LinusEkenstam · 2026-10-21
- CSS 视力表海报:用 rem/px 字号排出的「WE SWEAT THE SMALL DETAILS」 — jh3yy · 2026-10-21
- 「AGI 就是绿灯戒环」：一张漫画梗图引发的能力畅想 — snowclipsed · 2026-10-21
- Dave Ramsey 式「致富秘诀」：拿别人的钱撒 200 个种子轮 — StewartalsopIII · 2026-10-21