自动化评测能否直接合并AI改动
TopJuggernaut1852 · reddit · 2026-07-11
这条讨论的问题是：**自动化 eval 到底能不能让团队放心直接合并 AI 相关改动**。 作者观察到，虽然自动化评测越来越常见，但很多团队在通过评测后，仍会人工检查这些内容： - traces 和 prompts - retrieval 的改动 - 生产环境指标 他想确认两件事： 1. 如果 eval 通过，大家会不会直接 merge？ 2. 如果还要人工复核，eval 又没告诉你什么关键信息？ 核心是在讨论：**AI 开发里的评测自动化，和人工审查之间的边界到底在哪里。**