Agent 评测实操三步：录全程、人工标注、只用二元 fail 标签
strickvl · x · 2026-10-08
- 录制真实 agent 运行：完整记录整个会话，包括每一次 LLM 调用和工具调用。
- 人工复盘抽样：抽取样本，逐条标注 pass/fail，并写简短批评说明哪里出了问题。
- 偏好二元标签而非 1-5 分：作者认为 "fail" 能直接指向需要修复的问题，而 "3 分" 什么都说明不了。
「编程与Agent」频道最新
- 开源 Android 应用 Angel:手机本地跑 MCP 服务器喂给任意模型 — ihaveaboyfriendsorry · 2026-10-09
- ClickUp Brain² 接入 E2B 沙盒:全模型上下文直接交付报告与仪表盘 — mathemagic1an · 2026-10-09
- TensorFold 加入 NVIDIA Inception，提前测试下一代 Nemotron — HankYeomans · 2026-10-09
- Strata 被曝改写 Git 历史抹去 Claude 共同作者痕迹 — dasbin · 2026-10-09
- Zapier 与 Retell AI 两边 Agent 联手搞定来电留言 webhook — ramagetime · 2026-10-09
- 构建 RL 环境：10% 写任务，90% 确保 agent 无法作弊通过 — geoffwolfe · 2026-10-09