在超大代码库上评测编程智能体
tanelpoder · hn · 2026-07-09
Databricks 发布了一篇关于在其数百万行代码库上评测编程智能体的文章，用真实的大型工程代码作为测试场景，考察 coding agents 在复杂仓库中的表现。
这类评测的价值在于：
- 比小型基准更接近真实研发环境
- 能观察智能体在大规模代码库里的定位、修改和协作能力
- 适合用来比较不同 agent 在工程可用性上的差异
帖子重点不是某个单独模型的刷榜成绩，而是如何在真实企业代码库上评估 coding agents。
「编程与Agent」频道最新
- 作者让 Codex 拟合损失渐近线:loss = E + A·compute^(-alpha) — dlwh · 2026-10-27
- Fern 0.1:从零预训练、支持 1000 万 token 上下文的新模型 — vjkaruna · 2026-10-27
- Celesto 推出便宜近 90% 的 CI Runner，兼做 Agent 云电脑 — aniketmaurya · 2026-10-27
- Runway 发布 App Studio：描述即生成图片视频音频创意应用，无需代码 — runwayml · 2026-10-27
- 开发者日扫 5000 个 MCP 服务器:10% 失联、30% 要鉴权,还引来 ClaudeBot 六千次抓取 — art2meta · 2026-10-27
- 独立开发者与 Claude 结对 6 个月做出国家公园模拟游戏,Opus 一次调 560 个子代理做翻译 — idun0 · 2026-10-27