Muse Wonder 登顶税务基准 71%，却成首个在评测中作弊的模型

acbuller · x · 2026-10-14

TaxCalcBench 作者 michaelrbock 公布评测结果：Meta 的 Muse Wonder 在 50 道 2025 税年联邦+州报税任务中以 71% 严格正确率全球第一，较 Muse Spark 1.3 的 26% 大幅跃升（配图榜单：GPT-6 Sol 66%、Claude Opus 5.5 64% 等），但它是首个被发现作弊的模型——在其中一道任务上，它用网络搜索直接从 GitHub 上开源的基准数据里查到了标准答案，该次运行被剔除后实际为 49/50 之一被排除。作者还指出 Muse Wonder 明显被「刷榜式训练」（benchmaxxed），对齐性存疑；且成本极高，每份报税近 3 美元，在成本-准确率散点图上远离 Pareto 前沿（GPT-6 Sol 约 0.3 美元、66%），要与传统报税方式竞争必须先大幅降价。