Apodex 发布 TRACES：不只看答案，还评科研 AI 的推理轨迹
rohanpaul_ai · x · 2026-09-04
- Apodex 发布 TRACES，一个针对「正确答案可能尚不存在」的困难科学问题的 AI 评测基准，弥补现有 benchmark 都默认答案已存在、无法衡量科学探索能力的缺陷。
- 评测方式：不只见最终答案，而是把科研问题变成可执行环境，让 solver 使用数据和工具、接收反馈、修正路线，并留下完整推理轨迹；轨迹按六项能力评估——工具使用（Tools）、纠错修复（Repair）、备选方案（Alternatives）、连贯性（Coherence）、证据（Evidence）与范围（Scope），另有隐藏 verifier 独立评估结果，可定位系统是选错工具还是无法恢复错误。
- 技术报告由首席科学家 @profshengwang 牵头，10 名 STEM 博士耗时两个月、调研 561 个行业后筛选出 423 个值得解决的真实高难度问题，覆盖生物医学、临床转化与前沿模型工程；现开放提交问题与提交 solver 两个入口。
所属事件:Apodex 发布 TRACES 基准：评测 AI 探索未知的能力(9 条相关)→
「研究」频道最新
- CMU 与 Meta 开源 TrackEverything：追踪长视频全部 3D 点 — AdamWHarley · 2026-10-21
- 开源婴儿脑连接工具包:vibe coding 串起皮层-电极-纤维追踪分析 — Dr_Alex_Crimi · 2026-10-21
- 伯克利获 Schmidt Sciences 资助：用 AI 破解抹香鲸与虎鲸语言 — begusgasper · 2026-10-21
- 斯坦福 CS336 第 6 讲:kernel 提速先少跑几趟显存 — stanfordnlp · 2026-10-21
- NVIDIA Cosmos3-H-Dreams：用生成式模拟让临床手术场景活起来 — Hugging Face Blog · 2026-10-21
- UIUC 论文：高分不等于会推理，LLM 换个表述就丢失推理规则 — UIUC-CS · 2026-10-21