REUF2F 基准用形式化本科研究问题测 coding agent 能力
wellecks · x · 2026-10-21
Zeyu Zheng 等人发布 REUF2F 基准，将本科阶段的真实研究问题形式化后，用于评测编码智能体在数学形式化任务上的表现，标签为 AI4Math。该基准把 REUF（Research Experience for Undergraduates）式问题转成可机读形式，为衡量 agent 在科研级数学推理上的能力提供了新测试集。
「编程与Agent」频道最新
- AI 编程工具 OpenCode 遭供应链攻击，PHP 生态同日爆安全洞 — burny_tech · 2026-10-21
- Anthropic 发布 Claude Sonnet 5.5：终端基准 10.3% 跳至 70.6%，单任务成本降 30% — Aiden_Tech_Ai · 2026-10-21
- 独立开发者用 Opus 一次上线邮件产品 8 项功能，附送达率实数据 — marclou · 2026-10-21
- 19个月跑出6000+集无人新闻视频，靠的是eval而非模型 — jwdNyc · 2026-10-21
- 用 Grok Bot 做实体产品原型：草图到 RFQ 一条龙 — elonmusk · 2026-10-21
- 主观任务评估实操路线图：人类标注加 LLM 裁判降噪三步法 — cwolferesearch · 2026-10-21