评测设计要懂模型，而不只是把题目做难
i_dg23 · x · 2026-07-22
这条转述在讲一个很实用的评测原则：做 eval 要有“model empathy”——你得站在模型的视角设计任务，而不是只按人类工程师的直觉出题。
- 原作者举例说，哪怕是一个不错的 iOS 工程师，接到这种任务也可能直接“rage quit”。
- 核心意思是：评测题要围绕模型的失败模式和动机来设计，而不是只看表面像不像难题。
- 放到工程实践里，就是要把 benchmark 设计得足够接近真实工作流，才能真正暴露 agent 会在哪里崩。
「编程与Agent」频道最新
- Grok Build 一键做出完整 ARPG，还能自动生成素材 — tetsuoai · 2026-07-22
- 一位父亲用 Grok 4.5 两小时做出可手柄操作的游戏 — minchoi · 2026-07-22
- Atomic-Chat 推出可离线运行的开源 ChatGPT 替代品 — rohanpaul_ai · 2026-07-22
- ComfyUI 试跑 Wan 舞蹈视频，30 秒渲染耗时 70 分钟 — tostane · 2026-07-22
- Claude Code 接入 iOS 模拟器，支持并行移动端测试 — xiaohu · 2026-07-22
- Salesforce 说企业智能体正从循环走向图式路由 — msrivastav13 · 2026-07-22