开发者用Codex MCP并发审计MBPP和HumanEval，发现多处问题
code_star · x · 2026-08-22
X 用户 codestar 分享了他使用 Codex 通过 MCP 服务器进行基准测试审计的经验。他创建了 47 个并发 nac 会话，在 2 小时内审计了 MBPP 和 HumanEval 变体的每个样本，纠正了提示词、测试用例、格式甚至上游 MBPP 中的多个深层问题。他提醒大家：“记住，朋友们，永远要看数据！”
所属事件:开发者用 Codex MCP 并发审计两大代码基准数据集(2 条相关)→
「编程与Agent」频道最新
- 数据说话：路由和安全分类用决策模型，中位速度快 7-8 倍 — randal_olson · 2026-10-16
- Perplexity 开源安全沙箱 SPACE，联手 CoreWeave 推 agent 推理平台 — AravSrinivas · 2026-10-16
- 决策模型 vs LLM：知识推理 LLM 胜，路由审核平手且前者更快 — randal_olson · 2026-10-16
- Temporal Serverless Workers 登陆 Cloud Run:按任务队列自动伸缩、可缩至零 — rseroter · 2026-10-16
- Meta 超智能实验室 200+ 直接汇报,扁平组织移植到 AI Agent 设计 — peterjliu · 2026-10-16
- LangChain CEO:最有趣的 agent harness 工作在 harness 与基建交界处 — hwchase17 · 2026-10-16