AWS 实战指南：在 EKS 上部署 120B 参数 Nemotron 3.5 Super VL
AWS ML Blog · rss · 2026-10-30
AWS ML Blog 发布在 Amazon EKS / EKS Auto Mode / SageMaker HyperPod EKS 上部署 NVIDIA Nemotron 3.5 Super VL 的完整参考实现。要点：
- 模型：开源多模态 MoE 模型，总参数 120B、每 token 激活 12B，从 Nemotron 3 Ultra 蒸馏；混合 Mamba-2 +注意力 + 专家层，RADIO 视觉编码器，上下文最长 1M token，支持文本/图像/文档/视频输入，提供 BF16 与 NVFP4 权重、训练数据与后训练配方。
- 成绩：Hermes Bench 63.44%、LangChain agent 评测 87.05%、CharXiv 图表推理 80.8%。
- 架构：Mamba-2 层状态恒定，长上下文内存不像 KV cache 随长度增长；递归共享 MTP 头支持原生投机解码。
- 部署：NVIDIA Dynamo 可聚合或 prefill/decode 分离部署，视觉编码还可再拆分；最低 GPU 配置从 B300 NVFP4 的 1 卡到 H100 BF16 的 16 卡不等。
- 性能方法论：用 NCCL all-reduce 验证集群、用 aiperf 测 TTFT/ITL/吞吐，画并发扫描曲线做容量规划——曲线右下移即赢；ITL 升加 decode、TTFT 升加 prefill。示例拓扑下单副本在 TTFT<600ms、ITL<100ms 的 SLO 下可服务约 c32 并发（约 320 token/s）。
aws-do-eks 项目提供从建集群到压测的一键自动化。
「Infra」频道最新
- 实测 10 款编码 Agent 跑本地 Qwen 27B:Pi 每 task 仅 9.2k tokens 最省 — latent_lurker8587 · 2026-10-30
- Anthropic 德州数据中心 50-70 亿美元垃圾债发售被搁置 — rohanpaul_ai · 2026-10-30
- GPU 上做权重压缩？斯坦福研究者打脸自己的直觉 — realDanFu · 2026-10-30
- 缓存 token 详解：agent 循环为何重复付费，命中可省 50 倍 — Arindam_1729 · 2026-10-30
- GB300 单托盘跑 DeepSeek Flash：每用户近 1000 tok/s，百万 token 仅 7 美分 — bookwormengr · 2026-10-30
- 奥特曼称 AI 机器人自复制数据中心「触手可及」 — Eliv_nurotic · 2026-10-30