Chimera v0.4.0：诚实的A/B测评引擎与基准适配器
Federal-Teaching2800 · reddit · 2026-07-07
项目 Chimera 发布 v0.4.0（M14 周期），主题从“提升弱模型”转向“在标准基准上验证并闭环自我改进”。作者强调本轮交付的是测量基础设施而非已公布的基准分数：包括一个诚实的 A/B 比较引擎（采用 Wilson 通过率与 Newcombe 95% 置信区间，仅当置信区间排除零时才算“显著”），以及 Terminal-Bench 与 SWE-bench 的官方适配器，判定以基准自身测试为准而非自报。作者选择先交付“测量尺”并坦诚“暂无数字”，避免挑选性报数。