AI 评测的三阶段流程
amaarora · x · 2026-07-19
作者转述了一个实用的 evals 三阶段流程：
- 先在循环里做“体感检查”，把效果调到看起来对；
- 接着手写 10–20 个最关键的场景，明确怎么量化这些场景上的表现；
- 真正上线后，再收集生产环境轨迹，整理成数据集，回灌到前面的评测体系里。
核心意思是：先用少量高价值场景快速建立评测，再用真实线上数据把 eval 体系做扎实。
「编程与Agent」频道最新
- 构建 AI Agent 安全网关：如何自托管多 SaaS 的 OAuth 集成 — Defiant_Cod_2654 · 2026-07-22
- Rowboat 作为开源本地优先 AI 同事上线 — ycombinator · 2026-07-22
- Reddit 用户串联 Ideogram 4 和 Krea2，复刻 bbox 定位效果 — v3lh0t05c0 · 2026-07-22
- Apollo 采用 Deep Agents 架构，AI 技能开发周期缩减 85% — LangChain · 2026-07-22
- Scoble 说 AI 的 loops 本质是长运行多智能体工作区 — Scobleizer · 2026-07-22
- Kimi Code 开放候补名单，Moonshot 推进编码产品 — Fabulous_Bonus_8981 · 2026-07-22