LiteLLM SDK 推出 agent eval:一行调用即可对比模型与 harness

ycombinator · x · 2026-11-18

LiteLLM 在 SDK 中新增 agent evaluations 功能,面向想在自己的任务上比较不同模型和 agent harness 的开发者。

以往开发者需要自己写 eval 循环、搭建临时工作区、再用表格汇总结果;现在可以直接复用现有 agent,定义带成功校验的类型化任务,调用 litellm.agenteval() 即可得到记分卡,包含通过率、成本、token 用量和耗时。配图示例展示了 GPT-6.2 Sol 与 Gemini 4 Hydrogen 在同一任务上的 pass/成本/耗时对比。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →