LiteLLM SDK 推出 agent eval:一行调用即可对比模型与 harness
ycombinator · x · 2026-11-18
LiteLLM 在 SDK 中新增 agent evaluations 功能,面向想在自己的任务上比较不同模型和 agent harness 的开发者。
以往开发者需要自己写 eval 循环、搭建临时工作区、再用表格汇总结果;现在可以直接复用现有 agent,定义带成功校验的类型化任务,调用 litellm.agenteval() 即可得到记分卡,包含通过率、成本、token 用量和耗时。配图示例展示了 GPT-6.2 Sol 与 Gemini 4 Hydrogen 在同一任务上的 pass/成本/耗时对比。
「编程与Agent」频道最新
- 4 周连续发布未爆红,OHAN 邀请仍超 150 人 — prasanna_says · 2026-11-18
- 开发者用 Runway 实时虚拟形象搭配 Hermes Agent,告别「圆点机器人」界面 — alexcovo_eth · 2026-11-18
- 微软 Agent Framework PyPI 包遭投毒,窃取 Azure 和 GitHub 凭证 — Kyrannio · 2026-11-18
- 用户给 Grok 智能体 50 美元求生挑战,48 小时滚到 5763 美元 — nikola_mr64990 · 2026-11-18
- 3 个提示词造出桌面版 Agent IDE:Sable 统一托管 Claude Code 与 Codex — churchkey · 2026-11-18
- 实测 99 项任务:Qwen3 4B 裸循环得 70 分,套 LangChain 反跌至 55 分 — SeveralSeat2176 · 2026-11-18