Michael Thiessen 分享量化评估 agent 改造代码库的实测方法
MichaelThiessen · x · 2026-10-18
Michael Thiessen 回应「代码库的 evals 意味着什么」:让 agent 在代码库里执行多个任务(如加测试、重构),对比拆分文件前后的代码库状态,观察成功率、耗时、token 用量的变化,并检查 trace——看 agent 是更高效地定位代码,还是反而更混乱。这是一套可复现的 agent 效果评估思路。
所属事件:Matt Pocock：代码库评估是可观测性而非 evals(3 条相关)→
「编程与Agent」频道最新
- 用 Claude Code 五步搭建你自己的算法交易分析器 — mdancho84 · 2026-10-19
- Proof Before Reuse:0/30 拦住投毒技能进 Agent 程序性记忆 — maa____z · 2026-10-19
- Pi harness 跑分逼近 DeepSeek 官方：42.2 分成本仅一半 — PawelHuryn · 2026-10-19
- 开发者晒 AI 工作流:3-4 天打磨 spec 后给游戏加上了 netplay — banteg · 2026-10-19
- 开源 kimo:把视频剪辑做成 MCP 工具,让编码 Agent 剪片 — LieTop7965 · 2026-10-19
- DeepLearning.AI 推出浏览器端 Agent 编码实验课，免费报名 — DeepLearningAI · 2026-10-19