CODA-BENCH评测代码代理
jiqizhixin · x · 2026-07-12
Renmin University of China 研究团队发布了 CODA-BENCH，用于同时测试代码能力与数据智能能力。
- 任务场景要求 agents 处理复杂文件系统、上百个 Kaggle 数据集，并完成真实的数据分析编码任务。
- 结果显示，即便是顶级系统，在 1,009 个任务上的成功率也只有 61.1%，说明当前 agent 在数据密集型工作上仍有明显短板。
- 帖子附带了项目、论文、代码和数据集链接，以及 Jiqizhixin 的报道。
「编程与Agent」频道最新
- Agent 绕过 UI 就能改已审批报销单?Agent-Native 框架要堵这个洞 — rseroter · 2026-10-27
- 开发者晒 AI 编码智能栈：人定方向 Opus 写码 Astra 审查，人类只做审阅 — sh_reya · 2026-10-27
- Baseten 网络课：用自有合并 PR 建 benchmark,按每成功任务成本评估开源模型 — baseten · 2026-10-27
- Thorsten Ball 谈 Agent 工作法：多用评测、多上自动化、放手让 Agent 干 — omarsar0 · 2026-10-27
- 定时运行的 Agent 任务，哪些可以免审批？Reddit 热议信任边界 — MemStrata · 2026-10-27
- 四个值得一试的 MCP 服务器:YouTube 全量字幕搜索等 — Prior_Engineering486 · 2026-10-27