如何不迷失地构建好eval：把过去的工作存下来用新模型重放
danshipper · x · 2026-10-12
一条关于「如何构建好 eval 而不迷失、不惹麻烦」的实操方法论：
把 eval 看作保存过去的工作，再用新模型或新 prompt/skill 重放，看是否变好。这能带来三件事：
- 看清哪里失败，好向老板/用户交代；
- 持续优化直到变好；
- 让它能跑在更便宜或开源的模型上。
作者强调，「衡量是否变好」占 90% 的工作量，infra 只占 10%。infra 部分可以直接让 agent 把任务以 Harbor task 格式存到 Cloudflare R2（便宜甚至免费的云端文件存储），即保存任务指令以及任务开始前文件夹的状态（agent 是否拥有你当时能访问的全部文件）。
所属事件:构建 agent eval 实操思路：评测即回放过往工作(2 条相关)→
「编程与Agent」频道最新
- 开源项目 Unlinked:用 Rust 克隆了大部分 Simulink 功能 — rickasaurus · 2026-10-12
- REA 操控 Computer Use 拆解 CapCut,批量下载 2291 个字幕模板 — dotey · 2026-10-12
- OpenUptime 开源:可让 Claude/Cursor 经 MCP 管理的监控与状态页 — gefei55 · 2026-10-12
- 11 年 SEO 老兵：Claude+Python 做技术审计的可用与失灵边界 — memon1 · 2026-10-12
- 博主实测：多机联调测试全交 AI，人只负责定标准 — aigclink · 2026-10-12
- 云天登：编码 agent 正在屏蔽基建痛点，削弱工具进步的动力来源 — yuntiandeng · 2026-10-12