专题 · FULL STORY
CritPt v2 发布与分数修订争议
Artificial Analysis 联合 CritPt 团队发布研究级物理推理基准 CritPt v2,GPT-6 Astra 以 83% 登顶。随后官方解读指出 v2 普遍涨分主要源于题目修订而非模型进步,新旧分数不可直接比较。
2026-10-22 ~ 2026-10-23 · 2 集 · 6 条
第 1 集 · 物理基准 CritPt v2 发布,GPT-6 Astra 以 83% 登顶(2026-10-22,4 条)
Artificial Analysis 联合 CritPt 团队(Argonne 与 UIUC 主导、60 多位物理研究者出题)发布研究级物理推理基准 CritPt v2。团队经数月专家评审修订全部 70 道复合研究挑战题,包括更正题干数字错误与自相矛盾约束、规范题目约定并改进评分器稳定性。结果显示 GPT-6 Astra 以约 83% 登顶,较 GPT-5 高出 54 分,前沿模型正逼近研究级物理上限。
- AI 物理基准 CritPt v2 发布:GPT-6 Astra 以 83.1% 登顶 — OfirPress · 2026-10-22
- CritPt v2 上线:GPT-6 Astra 拿 83%,领先 GPT-5 高达 54 分 — ArtificialAnlys · 2026-10-23
- CritPt v2 榜单:GPT-6 Astra 得 83%,前沿模型逼近研究级物理上限 — ArtificialAnlys · 2026-10-23
- CritPt v2 上线:GPT-6 Astra 得 83%,较 GPT-5 高 54 分 — ArtificialAnlys · 2026-10-23
第 2 集 · CritPt v2 涨分主因题目修订,新旧分数不可直接比较(2026-10-23,2 条)
Artificial Analysis 发文解读称,CritPt v2 与 v1 的分数不可直接比较:v2 分数普遍高于 v1 的主要原因是题目修订而非工具本身。以 GPT-6 Astra (max) 为例,其分数从 v1 的 32% 跃升至 v2 的 83%,但这并不代表能力真实提升,比较时应注意基准版本差异。
- CritPt v2 涨分主因是改题:v1 的 32% 到 v2 的 83% 不可直接对比 — ArtificialAnlys · 2026-10-23
- Artificial Analysis 解读:CritPt v2 涨分主要来自题目修订而非工具 — ArtificialAnlys · 2026-10-23