Real-SWE 基准:用真实企业私有代码库测评 AI 编程模型
theanonymousone · hn · 2026-09-13
HN 上出现新基准 Real-SWE,由 withspecific.com 推出,主打在私有的、真实世界的企业代码库上评测 AI 模型的软件工程能力,区别于依赖公开仓库的传统基准(可避免训练数据污染问题)。企业级真实代码库的复杂度、依赖与隐含约定更能反映模型在实际工程中的表现。
「研究」频道最新
- 印度学者今年在 A* 级 ML 会议上表现如何？ — cneuralnetwork · 2026-10-31
- PostTrainBench 轨迹数据集月下载破 10 万,作者警告是 RL 奖励作弊所致 — maksym_andr · 2026-10-31
- MIT『95% AI 试点失败』论断一年后被重新审视 — killboy123 · 2026-10-31
- 研究者为 SGLang 写 200+ 条属性约束，找出 10 个推理缺陷 — LingmingZhang · 2026-10-31
- 30 位专家定义 AI 临床安全分类法，压测显示离自主诊疗仍很远 — AleksandraFaust · 2026-10-31
- 复旦腾讯清华推出 ExplorationBench：55 个改动规则考验 AI 真探索能力 — jiqizhixin · 2026-10-31