专题 · FULL STORY

CritPt v2 发布与分数修订争议

Artificial Analysis 联合 CritPt 团队发布研究级物理推理基准 CritPt v2,GPT-6 Astra 以 83% 登顶。随后官方解读指出 v2 普遍涨分主要源于题目修订而非模型进步,新旧分数不可直接比较。

2026-10-22 ~ 2026-10-23 · 2 集 · 6 条

第 1 集 · 物理基准 CritPt v2 发布,GPT-6 Astra 以 83% 登顶(2026-10-22,4 条)

Artificial Analysis 联合 CritPt 团队(Argonne 与 UIUC 主导、60 多位物理研究者出题)发布研究级物理推理基准 CritPt v2。团队经数月专家评审修订全部 70 道复合研究挑战题,包括更正题干数字错误与自相矛盾约束、规范题目约定并改进评分器稳定性。结果显示 GPT-6 Astra 以约 83% 登顶,较 GPT-5 高出 54 分,前沿模型正逼近研究级物理上限。

第 2 集 · CritPt v2 涨分主因题目修订,新旧分数不可直接比较(2026-10-23,2 条)

Artificial Analysis 发文解读称,CritPt v2 与 v1 的分数不可直接比较:v2 分数普遍高于 v1 的主要原因是题目修订而非工具本身。以 GPT-6 Astra (max) 为例,其分数从 v1 的 32% 跃升至 v2 的 83%,但这并不代表能力真实提升,比较时应注意基准版本差异。