TUM.ai 项目征询：如何把真实 agent 工作流变成评测集
Super_Tough_4997 · reddit · 2026-10-24
一位参与 TUM.ai E-Lab 的开发者在 Reddit 上讨论 AI agent 评测工程：如何决定 agent 该测什么、第一批测试用例怎么设计、真实使用中测试漏掉了什么、如何定义正确结果及由谁评判，以及之后做了哪些调整（包括问题出在系统而非评测数据的情况）。适合做 agent eval 的开发者交流参考。
「编程与Agent」频道最新
- chrisalbon 感叹「提示词工程师已死」,转用骑车食谱演示提示技巧 — chrisalbon · 2026-10-24
- few-shot 提示解法:把示例改成待补全列表即可绕开模板陷阱 — mmitchell_ai · 2026-10-24
- AI 辅助重写世界：Rust 项目月处理近 1T tokens、月提交 5 万+ — doodlestein · 2026-10-24
- NeurIPS 论文 OAT:只学「成功轨迹」即可定位 Agent 失败步骤 — SharonYixuanLi · 2026-10-24
- 让 Claude 自启并行 agent,它给自己写的提示词堪称教科书 — hewarsaber · 2026-10-24
- 凌晨两点 Agent 卡死循环？视频分享排查与规避实践 — MaverikSh · 2026-10-24