CRUX 影子评测:GPT-6 Astra 与 Claude Fable 5.1 独立研究论文均遭专家拒稿
patpat_mit · x · 2026-10-28
- 评测机构 CRUX 给 GPT-6 Astra 和 Claude Fable 5.1 各 1 万美元预算,让其研究来自未发表论文的开放式 AI 研究问题并写出论文,再由原作者评审。结果:两篇论文都被专家明确拒稿。
- 与 7 月首测(Claude Opus 4.8 / GPT-5.6 Sol)相比,新模型在实验设计与资源管理上有显著进步,但创造性解题、判断力、校准与写作表达方面的局限持续存在。
- 这是 CRUX 持续进行的「影子评测」(shadow evaluation)项目第二轮,旨在用杂乱、长程的真实任务测量前沿 agent 的开放研究能力。多位知名研究者(如 Arvind Narayanan、Nicholas Carlini 等)参与协作与反馈。
「模型」频道最新
- Kimi K3.1 跑分 RareBench 得 38%,追平 GPT-6 Astra 仅花约 250 美元 — danielmckinn0n · 2026-10-28
- OpenAI GPT-6 Astra 登顶 ARC-AGI-3:自创编程语言,达 99% 准确率 — typewriters · 2026-10-28
- 「消融审查」开源模型走红:社区移除拒绝机制对抗安全收紧 — mishig25 · 2026-10-28
- 用户吐槽 Claude 周额度不够用，已耗尽 4 个 Max x20 套餐 — andrey_kurenkov · 2026-10-28
- Claude 零提示发现 Linux 内核 0click RCE 等多个真实漏洞 — burny_tech · 2026-10-28
- Bindu Reddy 批评 Argon 编码不佳:指令遵循差且常幻觉 — bindureddy · 2026-10-28