RWE-bench 实测:最强 AI 仅通过 37% 真实工程任务
ZeroCool86 · reddit · 2026-10-28
Xplore 发布 RWE-bench:20 道由执业工程师出题的真实工程任务,涵盖机械、电气与航空领域,包括需承受 2400 rpm 的柴油机曲轴设计、真实 FPGA 板上的 DDR3 内存走线、涡轮叶片 CFD 仿真等。评分不用模型裁判,而是程序逐条校验设计需求并运行物理求解器。
- 成绩:GPT-6 Astra 以 37% 领先,Opus 5.5 约 29%,GPT-6.1 Sol 约 25%;单次运行 $10,Astra 与 Opus 成本约为其 6 倍。
- 人类对比(作者个人估算):普通人一个都过不了;工科毕业生一个月大概能在自己领域过 1-2 题;专家在自己领域约能过三分之一,每题约一周。模型则可在几小时内跨三个领域做题。
- 作者观点:代码类任务进步快是因为能快速验证答案,物理工程反馈环更长;有了带记分板的 benchmark,能力跳变更可能发生,且「程序化评分」比「谁排第一」更关键。
所属事件:RWE-bench发布:最强模型真实工程任务仅过37%(2 条相关)→
「模型」频道最新
- 马斯克称 Grok Bot 持续进化:Vault 功能是游戏规则改变者 — beffjezos · 2026-10-28
- Claude 拒绝回答合法公开信息查询,程序员吐槽护栏过严 — mkheck · 2026-10-28
- DesignArena 上线 Code to Video 竞技场:模型纯写代码拍 15-45 秒短片 — yshan2u · 2026-10-28
- 大 V 试用了尚未全量上线的 Grok 新功能,称是近期最有趣 AI 体验 — petergyang · 2026-10-28
- Reddit 讨论:本地模型跃进 + 内存短缺,现在买 GPU 是不是最后的窗口 — Sensualities · 2026-10-28
- GPT-5.5 医疗任务单次通过率 46.3%,三连稳定仅剩 28% — jonc101x · 2026-10-28