Midas Touch 代码数据集遭质询:可复现性与数据泄漏存疑
maier_ak · x · 2026-09-30
maierak 针对「The Midas Touch for Code: Scaling AI Coding Environments Straight from Source」相关工作提出关键质疑:该工作没有与基于 issue 的管线做正面对比实验,只用了单一模型和单一随机种子,生成用的 agent 未公开,可能存在仓库与 benchmark 数据重叠的问题,也没有公开数据集或许可证信息。结论:可复现性和统计置信度均不清楚。
「编程与Agent」频道最新
- EpiCon:多智能体共享多模态记忆库,11 项基准平均提升 1.7-4.9 分 — Ziyun Zeng · 2026-09-30
- EngiWorld 基准:最强模型工程软件得分仅 44.3,跨软件任务成功率 3.6% — zhiman-ai · 2026-09-30
- xLLM 训练推理基础设施全套开源，含 xattn 与 xBridges — HongyiWang10 · 2026-09-30
- 120 张 B300 跑自动内核研究循环，6 小时为 Kimi K3 提效 40% — bookwormengr · 2026-09-30
- RSIArena 实验：8 个 agent 共享 64 张 Blackwell，各用 1000 GPU 时训模型 — my_cat_can_code · 2026-09-30
- GDE 开源免费 AI 工程课:500+ 课 340 小时,从裸数学写到智能体 — ghumare64 · 2026-09-30