Lithos 团队：别拿 benchmark 当选型铁证，先定义自身指标

JiaZhihao · x · 2026-09-16

Lithos AI 团队发文提醒：把 AI benchmark 当作模型、推理服务或 agent 优劣的绝对证明是错误做法。推理引擎用户真正关心的是端到端延迟、每用户 tokens/s、首 token 时间（TTFT）与总吞吐和单位 token 成本；其 Kimi 3 推理在 Artificial Analysis 的结果只能覆盖部分指标，且无法 1:1 匹配用户具体负载。建议工程团队在认真看 benchmark 前，先根据实际用例和流量确定关键指标，并在真实生产条件（含运维约束）下评估现有基准方法。