NVIDIA转发Arcee推理案例
latkins · x · 2026-07-15
NVIDIA AI Infra 账号转发了 Arcee AI 的案例：这家美国 AI 实验室基于 NVIDIA Blackwell Ultra 构建了其开放模型家族。
帖子里给出的信息包括：
- 旗舰 MoE 模型 Trinity-Large-Thinking 使用 NVIDIA NeMo 开源库进行了 RL 后训练；
- 通过 NVIDIA Dynamo、vLLM 和加速网络做 agentic 推理优化，以降低 token 成本；
- 上线前两个月在 OpenRouter 上累计服务 3T+ tokens；
- 成本约为 每 100 万输出 token 0.90 美元；
- 在 open agentic models 里拿到 PinchBench 第二名。
整体是在强调 NVIDIA 基础设施对开放模型推理与成本优化的支撑。
「Infra」频道最新
- 实测戳破 RTK 省钱神话:token 省了,账单分文未降 — Bartaseth · 2026-09-11
- SF Compute 创始人：现在买算力是「绝对糟糕的体验」 — IgorCarron · 2026-09-11
- 开源 SmolVM:2026 年 Agent 不止用浏览器,而是拥有整台电脑 — aniketmaurya · 2026-09-11
- PyTorch Day Korea 2026 首届线下大会启动,9月13日截止征集演讲 — PyTorch · 2026-09-11
- 本地跑 LLM 选卡:4 张 CMP-170HX 涨价 vs Mac Studio M5 — rumboll · 2026-09-11
- llama.cpp 为 RDNA4 调优 Flash Attention,大上下文提升明显 — pmttyji · 2026-09-11