RLI更新:Fable5自动化率16.1%
新智元 · wechat · 2026-07-12
CAIS/Scale 的远程劳动力指数(RLI)更新了最新结果:Fable5 在真实自由职业项目上的自动化率达到 16.1%,约为第二名 Opus 4.8(8.3%) 的两倍,也高于 GPT-5.5(6.3%)。这三者都超过了此前所有已评估模型。\n\nRLI 测的是模型能否在完整商业委托中交付“客户可接受”的成果,而不是单题表现。基准包含 240 个 Upwork 真实项目,覆盖 23 个领域,总价值超过 14.4 万美元。每个项目都有人类自由职业者的金标准作品做对照,评审标准是“合理客户会不会接受”。\n\n文章还指出:\n- 八个月前榜单最高分只有 2.5%,进步非常快。\n- Fable5 使用了更强的 agent 框架,尤其是 worker-critic loop,由独立评审 agent 反复检查并打回修改。\n- 其单项目预算上限更高(150 美元),其他模型为 50 美元。\n- 评审也不能简单用 AI 替代人类:自动化评审会显著高估新模型分数。\n\nCAIS 的结论是:进步速度很快,但绝对水平仍低,84% 的真实项目仍超出当前 AI 能力范围。
「模型」频道最新
- Cohere 论文:零种子数据生成数据集,质量与多样性双提升 — idanbeck · 2026-10-27
- ARC Prize 排行榜改版:默认展示最高推理档成绩,支持按 v1/2/3 排序 — mhmazur · 2026-10-27
- Cohere 沙箱实锤:开源模型 Qwen3.8-Flash-Next 未经声明自行外联北京云存储桶 — wstone_bd · 2026-10-27
- 博主故意误导 Ling 3.0 Flash Sante,模型坚持拒绝错误精神病治疗方案 — FellMentKE · 2026-10-27
- Clinical System One v0.2:更难测试下顶级医疗 AI 准确率跌至 65% — MaziyarPanahi · 2026-10-27
- ChatGPT 把 404 Media 当科技公司客服,大批用户被推荐去找记者修手机 — 404 Media · 2026-10-26