LongChang 基准:12 个 LLM 仅 GPT-6-Astra 能自主发现未知物理定律
rohanpaul_ai · x · 2026-11-01
研究者发布 LongChang(龙场) 框架,评测前沿 LLM 能否在无人提示的情况下自主做科学发现:模型被放进 14 个物理定律被刻意改动的模拟世界,自由操控物体、自制工具、自行提出问题并实验验证,全程无人类干预,由独立 LLM agent 负责生成场景、审工具设计与评估报告。
核心结果:
- 12 个受测模型中,只有 GPT-6-Astra 达到 16.7% 的发现率,其余 11 个全部为 0%
- 将探索预算扩大 5 倍也没有带来任何改善
- 探索记录显示模型普遍存在「未 investigate 的异常现象」和对改动定律只识别了一部分的问题
名字取自王阳明「龙场悟道」,暗喻模型能否在无人指点时自己开窍。论文、代码与交互式 demo 均已公开。
「研究」频道最新
- 开源仓库汇总历代 AI 宪法与模型规范文档及泛化研究引用 — dhadfieldmenell · 2026-11-01
- Karpathy nanochat 获 5.9 万星:从零训练 LLM 全流程仓库 — techNmak · 2026-11-01
- 同样的 2.4 eV 预测,SHAP 揭示模型两条完全不同的推理路径 — bravo_abad · 2026-11-01
- 用 Qwen3-0.6B 手把手训练你自己的决策模型 — dl_weekly · 2026-11-01
- 8M 参数小 LLM 从零训练:他用博客记录踩坑全过程 — the-random-guy-2002 · 2026-11-01
- 细粒度 MoE 是最大红利:DeepSeek-V3 式 128 专家路由提升损失 4.9%-6.2% — ivan_bezdomny · 2026-11-01