英伟达称软件优化使GPU token产出提升5倍

随着企业AI从试点走向生产，英伟达指出基础设施决策的核心指标已从芯片峰值规格转向“每token成本”。英伟达强调，在不改变GPU硬件和功耗的前提下，仅通过软件优化就使输出token数量提升了5倍，且该优化速度仍在加快。这表明提升每美元所能交付的有用token数，已成为当前AI推理基础设施更受关注的现实评估标准。

2026-07-14 ~ 2026-07-14 · 2 条相关