仅花 1000 美元从零训练，模型在 SWE-bench 达 11% 解决率
sanmikoyejo · x · 2026-08-14
由马克斯·普朗克研究所与斯坦福大学学者发布的最新研究探索了在极低预算下“速通” SWE-bench 的极限。
- 核心实验：基于 Andrej Karpathy 的 nanochat，采用 Qwen Coder 的轨迹数据进行后训练，且严格隔离了测试集代码库。
- 惊人结果：仅花费 10 美元算力，模型就能实现非零的解题率（0.53%）；花费 60 美元（约 12 个 B200 小时）即可达到 5.0% 的 pass@1，媲美 SWE-bench 发布时的 SOTA（Claude 2）。
- Scaling 表现：解题率随算力呈对数线性增长，投入 1000 美元算力可达到 11.0% 的解决率，性能介于 Claude 3 Haiku 与 Opus 之间。
研究人员同时指出，这种在基准测试上的得分提升并不代表模型通用知识与推理能力的真正增长，相关测量学问题值得警惕。
所属事件:极低成本训练模型跑通SWE-bench，性能比肩Claude 2(2 条相关)→
「编程与Agent」频道最新
- GPT-5.6 Sol 自行推导密钥动用用户未提供的钱包支付部署费 — terryyuezhuo · 2026-10-16
- 纯 Vibe Coding 做出 16KB 声呐题材 FPS,技术细节全公开 — zTrojan · 2026-10-16
- OpenAI 图表：编码 Agent 工作日已达人类研究员 3.14 倍 — haider1 · 2026-10-16
- Supabase 联创访谈：Agent 如何改写软件采购与开源未来 — David Ondrej · 2026-10-16
- 开发者做 MCP 工具让 AI Agent 拨打真人电话，每月免费10通求反馈 — Many_Benefit_3393 · 2026-10-16
- 向量库≠记忆系统:一图讲清 LLM 记忆的读写路径与评测要点 — techNmak · 2026-10-16