Yoav Goldberg 提出新 Agent 评测任务:用 GitHub API 定位真实代码制品
yoavgo · x · 2026-09-09
AI 研究者 Yoav Goldberg(@yoavgo)介绍了一个非平凡但非常自然的 Agent 搜索评测任务:让模型在真实工具环境中找到对话里提到的那个代码制品——具体来说,是根据线上讨论内容,通过 GitHub API 找到对应项目中被提到的 Issue、Commit 或 PR。该任务考验的是 Agent 结合真实世界工具进行检索与消歧的能力,而非静态问答。
「编程与Agent」频道最新
- Eraser 开源 AI 原生坐标感知图表格式，MIT 协议 — yawnxyz · 2026-09-09
- 代码格式化之争 40 年前已解决:Ada 用 DIANA 中间表示取代源码存储 — maxleiter · 2026-09-09
- QA 工程师用 Codex 学 DevOps：Agent 端到端修复代码引发学习焦虑 — Recent-Tangerine2745 · 2026-09-09
- WebMCP 走热：工具直接嵌入网页，浏览器内任意 Agent 免服务器调用 — every · 2026-09-09
- Reducto Extract 大升级：速度翻倍、 citation 覆盖 99%，定价 2 美分/页 — ycombinator · 2026-09-09
- Vercel 改用 CDN 包月定价,告别流量尖峰天价账单 — cramforce · 2026-09-09