策展 LLM/Agent 评测任务的五个关键原则：多样、真实、够难、有区分度、高质量
cwolferesearch · x · 2026-10-28
Cameron Wolfe 梳理了为 LLM/Agent 评测挑选任务数据的五个核心要素：
- 多样（Diverse）：任务要覆盖能力与用例的完整范围，否则会因只测擅长的领域而虚高性能。可借鉴 GDPval 按行业/职业/工作活动构建分类体系来系统性检查覆盖面。
- 真实（Realistic）：任务应贴近实际使用场景，最好直接取自真实使用数据——如 CursorBench 源自真实 Cursor 会话，SWE-Lancer 用 Upwork 真实自由职业工程任务。
- 够难（Difficult）：避免基准饱和；可通过专家估计、任务属性或模型过滤（跑 agent 统计成功率）来估算难度。
- 有区分度（Discriminative）：难不等于有用——全员失败的任务无法区分模型优劣。可用项目反应理论（IRT）按难度与区分度建模，筛出更小但信息量更高的评测集。
- 高质量（High-quality）：参考答案、指令与 grader 必须准确；Terminal-Bench 通过失败分析与人工/LLM 审计轨迹和评分输出来发现判分错误。
核心结论：更大或更难的基准未必更好，关键是任务在五个维度上都过关。
所属事件:Cameron Wolfe 长文探讨 LLM 与 Agent 评测的可靠方法论(2 条相关)→
「编程与Agent」频道最新
- 开发者称 Opus 5.5 已强过自己，主张让 AI 审你的代码而非相反 — mhmazur · 2026-10-28
- RLCD 后训练方法：让模型 90% 置信就真有 90% 正确率 — kalyan_kpl · 2026-10-28
- Superwhisper 接入 Grok Bot:企业可把产品做成可对话的 Bot 模板 — XFreeze · 2026-10-28
- YC F26 项目 Sentient OS 发布:本地 LLM 全程理解你的电脑生活 — testingcatalog · 2026-10-28
- Supermemory 深挖 Claude Code 记忆机制,逐层拆解内部实现 — julianweisser · 2026-10-28
- GitHub Spec Kit 主推规格驱动开发：5 条命令让 AI 编码先规划后动手 — Arindam_1729 · 2026-10-28