AI 评测的三阶段流程
amaarora · x · 2026-07-19
作者转述了一个实用的 evals 三阶段流程：
- 先在循环里做“体感检查”，把效果调到看起来对；
- 接着手写 10–20 个最关键的场景，明确怎么量化这些场景上的表现；
- 真正上线后，再收集生产环境轨迹，整理成数据集，回灌到前面的评测体系里。
核心意思是：先用少量高价值场景快速建立评测，再用真实线上数据把 eval 体系做扎实。
「编程与Agent」频道最新
- Kolab 基准：真人屏幕录像揭示 AI Agent 高估自身协作质量 — minnesotanlp · 2026-10-27
- 开发者吐槽 Claude 烧 token：同样工作 GPT 省 3 倍用量更便宜 — haider1 · 2026-10-27
- InfoWorld：别把模型当地基，Agent 架构必须做到 48 小时可换模型 — rseroter · 2026-10-27
- 便宜模型跑 Agent 反而更贵：线性往返堆爆上下文窗口 — vasuman · 2026-10-27
- 5 千行 Rust 单二进制看板 Kanzo：给 Claude Code 当任务板 — allmudi · 2026-10-27
- 「人类审批就安全」是幻觉：approval fatigue 与 Agent 风险设计 — Efistoffeles · 2026-10-27