编码智能体推理速度成关键指标
JiaZhihao · x · 2026-07-14
转发内容强调：**原始速度正在成为智能体的关键差异化因素**。 文中提到 Lithos 的 agentic inference engine 跑的是 **Kimi K2.7 Code**，在代码工作负载下，于单个标准 **8xB200 GPU 节点**上可达到**每用户峰值超过 1000 tokens/s**。 作者还强调两点： - 没有使用近似技巧（no approximation techniques） - 追求的是模型原生精度与完整模型质量 他们随后用一篇博客解释自己做了什么，以及为什么“速度”对 agent 很重要。