三大科学基准对比：CritPt、SciCode 与 Terminal-Bench Science
geoffwolfe · x · 2026-10-25
转发的推文对比了三个面向科学任务的基准，各自代表不同的评测范式：
- CritPt：提出研究级物理问题，需要多轮对话、上下文逐步累积，最后给出一次判定，是当前最深的衡量标尺。
- SciCode：把高级科学计算串成链式任务，每一步的解作为下一步输入，每个环节都有奖励信号，是单位成本下最干净的学习信号。
- Terminal-Bench Science：把 agent 放进真实 shell 中长时间运行，含工具调用与重试，最后只做一次检查，最接近模型未来实际做科研的方式。
作者指出，三者本质都是基准，但只要把各自的验证器包装成奖励，就能变成各有深度、时间跨度和奖励节奏的 RL 训练环境，并抛出问题：你会选哪个来启动一次训练？
「编程与Agent」频道最新
- CASPA峰会：芯片互连耗掉60-70%能源，AI芯片设计周期拟从24个月砍到9个月 — ai · 2026-10-25
- 工程师边聚会边用手机语音指挥多智能体干活：「工程从未如此轻松」 — KevinNaughtonJr · 2026-10-25
- 帮诊所自动化保险传真，AI 工程师竟被「传真速度太快」卡住 — gregmushen · 2026-10-25
- 网友逆向工程 Tinker 新目标函数：StableReinforce 就是 REINFORCE 加分数中心化 — andersonbcdefg · 2026-10-25
- AGI House 办 4.5 万美元奖金 Gemma 构建日，Google 开放 Android AI 接入 — salgar · 2026-10-25
- 工作流里哪一步才真需要 Agent 自己选工具？Reddit 引发边界讨论 — ZinchaDEV · 2026-10-25