OpenFrontiers 基准:AI 搜网页解出的数学题多为抄答案
geoffwolfe · x · 2026-11-02
UIUC 团队联合发布 OpenFrontiers，用于衡量 LLM 能否真正「再发现」科研结论，而非靠检索抄到现成答案。Geoff Wolfe 指出其核心观点：一条成立的证明无法告诉你它是 agent 独立推出来的还是网上找的，必须区分。
资源构成
- 开放研究问题库：收录 12,151 个跨学科开放问题的题面、背景与进展。
- 再发现 benchmark：200 道数学题（110 道于 2026 年被解决、90 道仍开放），全部以 Lean 4 形式化并经自动探针与两轮独立评审；另设按质量筛选的 HQ-50 子集。
评测协议与结论
在隔离沙箱中用两个独立证明检查器打分，分三种条件评测 7 个 LLM agent：闭卷、冻结检索、实时联网。结果显示：闭卷条件下的真正再发现很罕见（40 道已解决题中最多 7 道），而联网条件下的成功大多只是检索到了已发表的解法。作者主张检索可以记分，但不能与「独立发现」混为一谈。
「漫话AGI」频道最新
- 中国人形机器人上半年产量超4万台，全年预期10万台 — ingliguori · 2026-11-02
- 密歇根州监狱将部署 AI 预测在押人员暴力风险并定安全等级 — Polymarket · 2026-11-02
- 纳德拉对 AI 对齐产生疑虑：更聪明不等于更安全 — VraserX · 2026-11-02
- YouGov 调查：美国人普遍高估少数群体规模，跨性别估 21% 实为 0.6% — AndyMasley · 2026-11-02
- vibecoding 玩家被反 AI 者围攻,作者感叹乐在其中也遭恨 — AIandDesign · 2026-11-02
- 前 PM 观点:AI 时代产品经理只剩创意和卖出创意两件事 — signulll · 2026-11-02