亚马逊论文审计发现多个规则类基准评分有误

亚马逊团队发表论文《Follow the Policy, Fail the Benchmark》,系统审计了九个评估 AI 模型按税务、法律与商业等书面规则做决策的公开基准,发现答案键与评分代码存在错误,导致模型的正确回答被误判为错误。论文归纳出三类问题,并发布修订基准集 BAR,对 RuleArena、LegalBench 等基准的可信度提出质疑。

2026-11-09 ~ 2026-11-09 · 2 条相关