四款前沿模型材料科学测试全部 98 分+,边界任务已饱和
v_aravind · reddit · 2026-11-14
一位石墨烯/二维材料研究者自建了一套模拟科研组日常工作的七部分测试:清洗带单位陷阱的拉伸数据、写 CIF 密度函数并用三个隐藏结构验证、四道物理估算题、挑一篇埋了 10 处错误的稿件(另有 6 个正确但可疑的诱饵)、假前提/伪造论文校准题、实验设计、约束写作,满分 100。
用 Gemini 4 Carbon、Gemini 4 Hydrogen(Antigravity)、Claude Opus 5.5、Claude Fable 5.2 各跑 3 次,均分 100.0/99.7/99.3/98.5,全部 12 次落在 97.8–100,每次耗时 7–24 分钟。所有模型都识破单位陷阱、通过隐藏 CIF 测试、做对 Krenchel 系数和量子电容等细节、找齐 10 处错误且零误报,失分几乎全是格式问题;3 次运行还发现了作者没埋的真实稿件错误。
作者结论:与 FrontierScience、METR、PaperBench 一致,有明确流程的有界任务已饱和,差距在长时程开放式工作;下一步在做带预算、仪器、意外事件和操作日志的 2–6 小时模拟实验室 agent 评测,并征求轨迹评分与人类基线的方法。
「研究」频道最新
- srush:核心 ML 代码的数值形式化验证比想象中容易且便宜 — srush_nlp · 2026-11-14
- Melty Gym 发布：可在任意游戏中大规模训练机器人 — julianweisser · 2026-11-14
- 呼吸道病毒智能体基准发布，最高模型通过率仅30.2% — kenbwork · 2026-11-14
- 递归自我改进没有起点时刻：深度学习范式下的智能爆炸解剖 — sebkrier · 2026-11-14
- AuraFace 嵌入余弦相似度：人脸重建保真度的量化指标 — ostrisai · 2026-11-14
- 3DSceneBench 发布：编码智能体重建可用的 3D 房间，功能得分仅 42.1 — yizhu59 · 2026-11-14