Aiden Bai：行业评测工具链不足，posttrain 前须补强

Reflection AI 创始人 Aiden Bai 指出，模型评测若要在规模上落地，当前工具链的默认水平远远不够，存在 rollout 成本极高、假阳性/假阴性及奖励信号等问题。他随后补充说明，其团队在 ReactBench 和数据工作中使用 Harbor 框架，但强调评测工具的缺陷并非 Harbor 一家的问题，而是全行业需要共同面对的挑战，各公司在 posttrain 之前应先把 eval 基础设施补好。

2026-10-10 ~ 2026-10-10 · 2 条相关

• Aiden Bai：模型评测工具链拉胯，每家公司 posttrain 前先补好 eval — aidenybai · 2026-10-10
• Aiden Bai 补充：ReactBench 用 Harbor，但 eval 问题属全行业 — aidenybai · 2026-10-10