Sol 与 Fable 的编程评测差异
ZainHasan6 · x · 2026-07-15
这条在比较两个编程/agent 配置 Sol 和 Fable 的能力差异，核心结论是：它们“解决的问题不一样”，相关性只有 0.48。
主要结果
- 两者在最佳配置下都能解出 88 个任务
- 仅 Sol 能解：9 个任务
- 仅 Fable 能解：12 个任务
- 两者都解不了：4 个任务
失败模式不同
- Sol 失败时，有 20% 的概率会破坏仓库里原有的测试
- Fable 失败时，更常见的是“差一点过关”，约 65% 属于漏掉最后一个新测试
稳定性与上限
- 在之前 26 组配置里，没有任何模型超过 80% reliability（即同一任务 4/4 次都能通过的比例）
- Sol 的最高 reliability 是 84.3%，有 61 个任务能做到 4/4 全过
- Fable 的峰值更高，为 88%，高于 Sol 的 85.8%
- 但 Sol 被描述为“更可靠的工具”，Fable 更容易出现偶发但惊艳的结果
所属事件:Sol与Fable编程评测：专长分化而非全面碾压(9 条相关)→
「编程与Agent」频道最新
- Anthropic 借鉴律师谈判伦理，Claude 智能体 69 人无人工批准成交 186 单 — rohanpaul_ai · 2026-10-18
- Agent 接管 Gmail 与浏览器后的投毒风险，及 jev-guard 防护做法 — sujingshen · 2026-10-18
- 14 个 Agent 在单卡 5090 上做 AI 电影:按反馈修复剪跳与配音缺陷 — developervkmp · 2026-10-18
- Meta 论文提出「Agent Plasticity」:最强 agent 未必是最高效学习者 — rohanpaul_ai · 2026-10-18
- 开发者用前沿模型一个周末上线山火预测平台 — CtrlAltDwayne · 2026-10-18
- 10 个让 AI Agent 操作手机的 GitHub 开源项目,最大 26K star — victor_explore · 2026-10-18