TRACES 基准:GPT-6 Astra 六维全升,自我纠错进步最小
rohanpaul_ai · x · 2026-09-13
@ApodexAI 发布 TRACES，一个针对「答案未知」的困难科学发现任务的 AI 基准，不只用最终答案评分，而是分六个维度评估过程：Tools（工具使用）、Repair（纠错）、Alternatives（竞争假设取舍）、Coherence（状态保持）、Evidence、Scope。
在同套评测框架、140 个 agent episode 下，OpenAI 的 GPT-6 Astra 对比 GPT-5.6-sol 六维全部提升（如 Tools 2.34→2.80），但 Repair 提升最少（1.81→2.01）——即模型改正自己错误的能力进步最慢。
作者的核心观点：正确答案可能掩盖薄弱的探究过程。agent 可能在无视矛盾反馈的情况下碰巧得到正确结果，当下通过校验，下个任务就会翻车。
所属事件:TRACES 智能体基准上线，GPT-6 Astra 登顶但自修复偏弱(2 条相关)→
「模型」频道最新
- 深度解析 Decision Models:Perplexity Decider 训练原理与适用场景 — antoine_chaffin · 2026-10-31
- 爆料称 GPT-6.5 Astra 或将发布，博主称其表现强劲 — daniel_mac8 · 2026-10-31
- Anthropic 「写偏数据」实验引阴谋论:故意污染对手蒸馏流? — teortaxesTex · 2026-10-31
- Gemini 4 Carbon 登顶 Vending-Bench 2，成本还低于同级前沿模型 — vedantmisra · 2026-10-31
- Particle 推出 token 高效模型 Particle-1，上线 Cloudflare AI Gateway — garrytan · 2026-10-31
- OpenAI 发布 L=BPL 证明，或有 AI 生成形式化数学证明 — chaumian · 2026-10-31