SnorkelAI发布高级工程任务版SWE-Bench评测基准
AxSaucedo · x · 2026-07-07
SnorkelAI推出新版SWE-Bench评测基准，专门针对大语言模型的高级工程师级别任务进行评估，扩展了原有SWE-Bench的评测范围。 新基准涵盖四类更贴近真实高级工程师工作的任务：模糊需求下的特性实现、运行时Bug定位与排查、行为验证，以及代码质量评估，旨在更全面地衡量模型在复杂工程场景中的实际能力。
AxSaucedo · x · 2026-07-07
SnorkelAI推出新版SWE-Bench评测基准，专门针对大语言模型的高级工程师级别任务进行评估，扩展了原有SWE-Bench的评测范围。 新基准涵盖四类更贴近真实高级工程师工作的任务：模糊需求下的特性实现、运行时Bug定位与排查、行为验证，以及代码质量评估，旨在更全面地衡量模型在复杂工程场景中的实际能力。