EvalRouter 升级:逐任务展示模型评测结果,拒绝单一分数掩盖差异
ycombinator · x · 2026-10-09
EvalRouter 推出评测结果可视化功能,核心主张是:两个模型可以总分相同但在完全不同的任务上失败,单一数字无法反映这一点。新结果页展示:逐任务逐模型的结果明细、每个分数的置信区间、分数与成本/延迟的对照曲线、每个模型在各 benchmark 上的完整表现画像。
「编程与Agent」频道最新
- Garry Tan 力挺 Aside Browser:让 Agent 真正用好网页的解法 — garrytan · 2026-10-23
- MCP 服务器 30 天后暗藏窃取 SSH 密钥指令,作者开源 mcp-guard 防变节 — ErgoniaWorks · 2026-10-23
- 实测:不在 AGENTS.md 里写明的 MCP 工具,编码 Agent 不会用 — colinmcnamara · 2026-10-23
- 用开源模型+Claude 把一段网球视频变成世界级教练 — tweetsatpreet · 2026-10-23
- 132 个免费开源 AI Agent 与 RAG 项目合集,星标 1.65 万 — Arindam_1729 · 2026-10-23
- Google Agents CLI 开放扩展系统,v1.8.0 官方支持 LangChain — rseroter · 2026-10-23