ArchitectureQ 基准测「训练直觉」:前沿模型 76% 超 66% 人类顶尖研究员
gregmushen · x · 2026-10-13
论文 ArchitectureQ 提出 benchmark 衡量 LLM 与人类对模型训练的直觉:给定合成数据集与多个训练配方,预测哪个配方效果最好。四大发现:
- 直觉不完美:前沿模型约 76% 准确率(随机 33%)高于最佳人类研究员 66%,但远非完美;纯架构问题上最佳人类 65%,GPT-6 Astra 仅 38%
- 直觉是经验性的而非结构化的:加 CoT 算力无明显提升,仍缺一门可结构化推理的「AI 科学」语言
- 直觉可压缩:仅 20 条知识库就能让弱模型大涨,GPT-4o 配知识库几乎追平 Claude Opus 5
- 对数据属性不敏感:模型选择本应依赖数据特性,作者称数据才是 AI 的真正「暗物质」,LLM 和人类研究员对数据的理解都不足
gregmushen 评论称这印证了他此前的观点:架构「形状」仍是人类 alpha 所在,但模型正在快速进步。
「模型」频道最新
- 前 OpenAI 高管 Brundage 吐槽 Meta Maximum 订阅：不知道自己用没用上最强模型 — Miles_Brundage · 2026-10-13
- 曝 Meta 发布 Muse Wonder 系列：SOTA 智能体与编程能力，$4/$20 定价 — ns123abc · 2026-10-13
- Bindu Reddy 预告 LiveBench 2.0：主打长程任务且无法刷榜 — bindureddy · 2026-10-13
- Muse Wonder 泛化能力显著超越 Muse Spark 1.3 — armand_ruiz · 2026-10-13
- 评论：Meta 已摸到 SOTA 门槛，新前沿实验室只是时间与投入问题 — bookwormengr · 2026-10-13
- Meta 旗下 Muse Wonder Full 冒出：SWE-Marathon 57.5 压 Claude Opus 5.5 — daniel_mac8 · 2026-10-13