Fern 0.1 智能体基准首秀:SWE-Bench Verified 73.4,与前沿模型仍有差距
bneyshabur · x · 2026-10-26
Fern 团队公布 Fern 0.1(Mirendil-Base 经短 post-training)在智能体编码与终端基准上的成绩:DeepSWE v1.1 得 44.2(开源模型中接近 Beam 的 43.3),SWE Atlas Codebase QnA 53.2,SWE-Bench Pro v2-Hard 76.5(与 Beam 持平),SWE-Bench Verified 73.4。对比显示其显著落后于前沿模型:Kimi-K3 在 SWE-Bench Verified 达 93.4,Claude Opus 5.5 达 98.2、Terminal Bench 66.4(Fern 仅 6.1)。Fern 的卖点是超长上下文场景(训练数据审计、训练日志调试、agent 轨迹分析),而非刷榜。
所属事件:Fern 团队提出「上下文即智能」，基准首秀 73.4 仍逊前沿模型(2 条相关)→
「编程与Agent」频道最新
- Agent 成功完成任务的背后:验证器只查了「有没有点击」导致重复投票 — TejasKumar_ · 2026-10-26
- diginomica 周报:agentic 自动化被高估,agent 攻防「The Hackening」已开始 — jonerp · 2026-10-26
- 「氛围验证」研究：近 60% 的形式化证明证明的不是作者本意 — basedjensen · 2026-10-26
- Devin 推出安全工具线，由 Claude Mythos 驱动并送数亿美元额度 — DevinAI · 2026-10-26
- HackBench 发布：向 Agent 轨迹注入作弊，压力测试监控器 — DanielKhashabi · 2026-10-26
- HF Hub CLI 大更新:缓存去重省 19GB,GPU 任务可重试重跑 — yb2698 · 2026-10-26