测试 7 个前沿 LLM:60.6% 复述定理时静默丢失隐藏假设
MFarajtabar · x · 2026-10-13
UIUC DREAM Lab 的论文《Objects Without Morphisms》(arXiv:2610.03551)指出,数学不只是解题,模型能否理解定理的前提假设同样关键。
- 测试方法:让 7 个前沿 LLM 把定理迁移到相邻数学领域(如向量空间→模),看其能否保持陈述的适用范围
- 结果:从具体推广到一般时,60.6% 的改写静默丢失了隐藏假设,且错误几乎全是单向的(向一般化方向收窄的比例为 0%)
- 从一般具体化时,70.7% 保持范围一致,28.3% 不当地收窄
- 基于 45 个 held-out 测试项(Table 2)
结论:前沿模型在「理解定理假设边界」上的表现远弱于其解题能力。
「模型」频道最新
- Muse Wonder 高级工程师基准仅得 42%,落后 Sol 6.1 的 71% 近 30 个百分点 — danshipper · 2026-10-13
- OpenAI Decisions API 多标签分类实测:F1 达 98.1%,成本仅 Agent 方案 1/7 — OpenAIDevs · 2026-10-13
- Alexandr Wang 承认 Muse Wonder 未用 3D 游戏演示训练,坚称是真实编码利器 — alexandr_wang · 2026-10-13
- 曝 X Premium+Grok+Cursor 捆绑订阅条款出炉:社交+模型+IDE 一站打包 — ns123abc · 2026-10-13
- X Premium+Grok+Cursor 合并订阅条款正式公布 — ns123abc · 2026-10-13
- GLM5.3-Flash 端侧量化版登 HF 热门,nvfp4 专为 DGX Spark 优化 — autotrust · 2026-10-13