推理基础设施转向每token成本
nvidia · x · 2026-07-14
NVIDIA 说，企业从 AI 试点走向生产后，基础设施决策的核心指标已经从“芯片峰值规格”转向 **cost per token**： - 每美元能交付多少有用 token - 每瓦能交付多少 token - 是否满足目标延迟 它强调，NVIDIA 的全栈推理软件会持续提升硬件表现，所以即使部署后，这个指标也会继续改善。
nvidia · x · 2026-07-14
NVIDIA 说，企业从 AI 试点走向生产后，基础设施决策的核心指标已经从“芯片峰值规格”转向 **cost per token**： - 每美元能交付多少有用 token - 每瓦能交付多少 token - 是否满足目标延迟 它强调，NVIDIA 的全栈推理软件会持续提升硬件表现，所以即使部署后，这个指标也会继续改善。