实战:用 MCP + Codex 批量审计并修复 HumanEval 数据集错误
code_star · x · 2026-08-22
作者利用通过 MCP 服务器接入的 Codex 模型,创建了 47 个并发会话,在 2 小时内完成了 MBPP 和 HumanEval 数据集所有样本的审计。不仅发现了 prompt 和测试用例的深层问题,还修复了格式错误及上游数据集中的缺陷。
所属事件:开发者用 Codex MCP 并发审计两大代码基准数据集(2 条相关)→
「编程与Agent」频道最新
- Vercel Python 正式 GA:原生支持 FastAPI/Django 与 Fluid Compute — steren · 2026-10-16
- Claude Opus 5.5 + Unity 6 完整教程:六步从空文件夹做出可玩游戏 — Roger_M_Taylor · 2026-10-16
- Marc Lou 公开安利 PostShiba:独立开发者的邮件基础设施新选择 — marclou · 2026-10-16
- RExBench 基准:最强编码 Agent 自主完成研究扩展成功率仅 33% — najoungkim · 2026-10-16
- 开发者把 Pstack skills 装进 Grok bot 与 Hermes agents — alexcovo_eth · 2026-10-16
- past.dev 推出 Agent 长期记忆 API,登顶 BEAM 公开记忆基准 — thisiskp_ · 2026-10-16