AI 能耗度量新视角：每 token 能耗需结合质量、任务等多维因素

prateekj · x · 2026-08-13

有用户提出，衡量 AI token 能耗不能只看每 token 焦耳数，因为小模型可能低能耗但输出无用。公平比较需控制模型质量、任务难度、上下文长度、延迟和服务水平。建议建立多维帕累托前沿，并列出完整效率基准应报告的指标，如每生成 token 焦耳、质量、序列长度、延迟、批大小、硬件利用率、内存流量等。同一硬件上任务选择可导致能耗差异高达 25 倍。