Kaggle 联合 IBM 发布 ScarfBench:204 项任务考 Coding Agent 迁移企业 Java 应用
gabriberton · x · 2026-11-02
Kaggle 与 IBM Research 联合推出开源基准 ScarfBench(Self-Contained Application Refactoring Benchmark),专门测试编码智能体能否把企业级 Java 应用在 Jakarta EE、Quarkus、Spring 等框架间迁移并保持行为一致。
- 框架迁移涉及依赖注入、持久化、构建系统与部署基础设施的协同改动;Agent 很容易生成「看起来没问题、能编译」的迁移代码,部署时才失败——ScarfBench 正是冲着这一点设计的。
- 共 204 个迁移任务,每个模型用自己的 harness 评测;推文提到 Gemini 4 Argon 的成绩被截断,完整榜单见原链接。
对做 agent 评测工程和企业代码迁移的人来说是一个值得跑分的新基准。
「编程与Agent」频道最新
- 开发者用私有 GitHub 仓库每日自动备份 Grok Bot 全套配置 — 0xkarasy · 2026-11-02
- Revolut 自托管 GLM 后成本降至十分之一,工程交付提速 70% — SumitGup · 2026-11-02
- 新研究剖析开发者如何监督自主编程 agent 的真实失败模式 — burkov · 2026-11-02
- mitsuhiko 用 agent 合成测试重写 readline，被质疑 GPL 许可证洗白 — mitsuhiko · 2026-11-02
- 4B 小模型生成 Three.js 场景一键导出 GLB,直接进 Godot 做游戏资产 — ConfidentDinner6648 · 2026-11-02
- 独立开发者靠 Claude Code 打破多年搁浅,浏览器派对游戏已获 79 国玩家 — Scary_League5349 · 2026-11-02