TraceML 分析 4672 条 Kaggle 轨迹:AI agent 研究策略窄于顶级人类
burny_tech · x · 2026-10-01
TraceML 是一个对 agent 轨迹做系统分析并与人类专家对比的工具,已获 NeurIPS 2026 E&D Track 与 COLM Workshop 接收。
- 数据规模:标注了 4465 条人类与 207 条 agent 的 Kaggle 参赛轨迹。
- 将 Codex agent 与 Kaggle Grandmaster 对比,发现人类调动的研究技能更广,agent 则集中于较窄的技能子集。
- 关键发现:把从人类轨迹中提炼出的研究技能蒸馏回 Codex agent,可以显著改善最终成绩。
- 意义:为理解 auto-research agent/RSI 的实际行为与改进方向提供了可量化的分析方法。
「编程与Agent」频道最新
- Sai agent 推出画中画模式,Mac 与 Windows 可桌面旁观 AI 干活 — xwang_lk · 2026-10-01
- RSIGame 递归自我改进训练 Agent,Qwen-27B 超越 GPT-5.5 且省 11 倍 token — RSIGame · 2026-10-01
- KRAFTON 发布 GameSpec-Bench:100 份游戏设计文档考验 Agent 忠实度 — KRAFTON · 2026-10-01
- 开发者把功能图发到X,直接让bot读评论排查issue — Baconbrix · 2026-10-01
- Linewise 视频分析 agent 借 Inco 推理实现单 GPU 吞吐提升 31 倍 — songhan_mit · 2026-10-01
- 网友支招:企业 AI 创业公司不如转型做 OpenClaw 企业 FDE 公司 — heyneighbor · 2026-10-01