评测体系正取代自动化测试,成 AI 软件开发新核心环节
somangshu · reddit · 2026-10-19
作者认为，AI 时代软件质量的下一波提升将来自评测（evals）与 harness 设计的改进，而非传统自动化测试。核心主张：
- 应对自己构建的产品持续跑 evals，形成「评测→改进→再评测」的递归循环，自动化程度越高，迭代越快。
- 引用 Claude Code 团队的实践：对每一次真实运行中可能出问题的场景跑一次 eval，再据此建议系统层面的改进，以加快 review 流程。
- 类比过去自动化测试对交付质量的保障作用，认为评测系统正在取代其位置。
- 提到 Google 的 harness2 等项目，几乎所有大厂都在这个方向投入，作者计划本季度把主要精力放在这里。
「编程与Agent」频道最新
- Marc Lou 纯 vibe coding 造出 MailCheap,号称比 beehiiv 便宜 83% — marclou · 2026-10-19
- 用状态机做 Agent 逻辑被严重低估：像乐高可自主重排 — DavidKPiano · 2026-10-19
- 数据准备即架构：微调与 RAG 共用的六步数据处理管线 — Puzzleheaded_Box2842 · 2026-10-19
- 受 Booking.com 播客启发,作者推出 Query Agent MCP 服务器 — CShorten30 · 2026-10-19
- Booking.com 平台团队用 MCP 服务器向各团队分发工具调用 Agent 能力 — CShorten30 · 2026-10-19
- Agent 自动给各家 LLM 充值？博主征集钱包与支付宝方案 — huangyun_122 · 2026-10-19