单台 DGX Station 跑出 8000+ tokens/s:Actual 案例曝光

cephaloform · x · 2026-10-16

Actual Computer 发布案例研究:其推理引擎 e 可把 NVIDIA DGX Station 变成「部门级 AI 工厂」,通过 api.actual.inc 向全团队提供推理服务,中继跑在机密计算上,连 Actual 也看不到请求内容。

关键数据:单 DGX Station 上以 FP8 权重、开启 MTP、百万上下文运行 Nemotron 3.5 Super VL,单流 455 tokens/s;128 流时超 8000 tokens/s,256 流时破 10000 tokens/s;8K 新提示首 token 延迟 0.58 秒。作者认为 DGX Station 将成为「token 工厂时代」的本地 AI 主力机,多数科技公司都值得拥有一台。