AI eval 社区共识:没有基线跑分的 env+scorer 不算数
npinto · x · 2026-10-14
ItsJarrodTran 指出,发布 eval 仅有环境和打分器不够,必须附上基线跑分,否则没人知道自己的数字到底好不好;npinto 附议称这年头太容易发低质 eval 稀释整个领域。这是对智能体评测工程规范的简短但切中要害的讨论。
「编程与Agent」频道最新
- 开源 new-term-radar：抢在关键词工具前捕捉 AI 新词的每日雷达 — sujingshen · 2026-10-14
- Arena Fighter：让 AI 编码代理写 bot 互殴的竞技场 — tristanbob · 2026-10-14
- Gusto 发布多客户 MCP,会计可把 Gusto 接入自选 AI 工具 — dunkhippo33 · 2026-10-14
- Claude Code 三模型分工玩法:Sonnet 写码、Haiku 侦察、Opus 审查 — Arindam_1729 · 2026-10-14
- 终端状态协议 OSC7501 一周内获 Kitty、Grok Build、Codex 集体采纳 — sull · 2026-10-14
- 实用技巧：让 Codex/Claude 写代码前先给它看目标界面截图 — gethackteam · 2026-10-14