开源评测工具 PAIR："在自家数据上人人都是榜单第一"的解药
kalyan_kpl · x · 2026-11-10
有人一句讽刺总结了当前模型评测乱象："在自家 benchmark 上，人人都是 #1。"
被引的 aditabrm 宣布开源 PAIR——一个帮助开发者在自有数据上构建可信评测的工具，主打跨厂商公平、跨数据集可泛化，回应各家模型厂商自选榜单自封第一的通病。属于 eval 工程方向的实用开源发布。
「编程与Agent」频道最新
- 曝 xAI 正搭建 Grok Academy，15 门课程与认证体系目录泄露 — nima_owji · 2026-11-10
- T3 Code 真实用量：Claude Code 占比升至 78%，Opus 5.5 上线后暴涨 — FinanceYF5 · 2026-11-10
- 50 克眼镜塞进全彩显示+手势追踪，博主畅想跑 Codex — Scobleizer · 2026-11-10
- 开源Agentlas-OS：把目标自动拆成可校验的Agent任务树 — Aiden_Tech_Ai · 2026-11-10
- 实测先写测试后写代码的 LLM Agent：21 次全过，33 个埋藏 bug 全捕获 — Infinite-Fly-2756 · 2026-11-10
- MiniMax M3.1 Flash 在 OpenCode 免费开放，被称适合赏金抓 bug — DanielLockyer · 2026-11-10