Evals 要看端到端而非局部

yunta_tsai · x · 2026-07-18

作者认为，很多 eval 只是在“隔靴搔痒”式地看问题；如果要真正解决问题，需要 **端到端视角**，否则容易把不该优化的东西过度优化。他进一步指出，随着范式变化，eval 的标准也会持续变化；也就是说，评测不是静态模板，而是会跟着问题定义与系统形态一起演进。