把调试与正式打分拆开跑，我的内部评测集终于可信了

Designer_Bet_7673 · reddit · 2026-10-22

作者分享 LLM 应用评测集失效的教训与修复方法：过去每次 prompt 调整都对着同一批调过的用例打分，数字永远好看却没有信息量。

核心做法是把运行分成两类：调试运行——便宜、随意、持续进行，跑在数据的一个 scratch 切片上；打分运行——低频、冻结、记录模型和 prompt 版本。他借鉴 Agent Memory Leaderboard 第二周期的规则（Smoke 私有兼容性测试每 track 最多 30 次、不计入公开榜；Full 正式打分每 key 每 track 最多 2 次，第二次在首次完成后 30 天才开放），认为这种非正式/正式路径分离是值得借用的模式。拆分后回归问题能在用户发现前就暴露。