FrontierSWE v2 发布:超长时程基准拉开模型差距,Claude 领跑
brianryhuang · x · 2026-09-03
ProximalHQ 发布超长时程(ultra-long horizon)编码基准 FrontierSWE v2,扩充了任务集并改进了评测方法。其中一个代表性任务要求模型从零构建一个能渲染飞行模拟游戏的 OpenGL 引擎。初步结果显示前沿模型之间存在巨大性能差距,Claude Fable 5.1 以明显优势领先。作者 calvinchen 表示后续几天会发布更详细的分析。
所属事件:FrontierSWE v2 发布:20 小时长程任务实测,Fable 5.1 领先逾 24 个百分点(5 条相关)→
「模型」频道最新
- 「前沿模型 400 美元订阅不可能持久」,团队转向评测开源模型备胎 — ChrisRackauckas · 2026-10-18
- 14.3M 参数通用决策引擎 vega-U:冷接任意冻结 LLM 最高达 0.811 准确率 — kalyan_kpl · 2026-10-18
- 150M 参数小模型拦截离题查询,Macro-F1 91.56% 超越顶级 LLM — kalyan_kpl · 2026-10-18
- Claude Max 订阅用户获赠 200 美元 API 额度,限 2026 年 10 月前使用 — Rough_Exercise7261 · 2026-10-18
- OpenAI 测试列表惊现 aurora 红/绿/蓝三个 alpha 模型检查点 — ChrisGPT · 2026-10-18
- 波兰开发者业余两周造决策模型,开源榜第一超众多商业产品 — lukaszkaiser · 2026-10-18