自建 12 项真实任务基准：Opus 5.5 综合最稳，Muse 高分但不省心
macaronianddeeez · reddit · 2026-10-14
厌倦了跑分榜的作者用自己真实交给 AI 的工作搭建了一个私人基准：12 类任务（修 bug、加功能、文档研究、联网检索、客户收件箱分诊、对账、写 spec 等），每项带模型看不到的隐藏检查（隐藏测试、植入的错误指令、伪造邮箱/日历记录），严重失误直接把该任务封顶 20 分，关键任务重复跑 3-4 次。
得分（均分 / 联网研究任务）：
- Muse Wonder：98 / 84（仅跑一轮，测试账号为 Contributor 模式，Meta 可用数据训练）
- Sol 6.1 High：96 / 91；Astra Medium：96 / 96（修 bug 全部满分）
- Opus 5.5：90 / 98；Fable 5.1：88 / 87
关键发现：
- Opus 和 Fable 把一笔不明 $240 付款自信地归给了客户而非标记异常，该项被封顶 20 分；不计此项两者均分可达 96/94
- Sol 和 Astra 在客户界面任务中悄悄改动了表单逻辑，与给定事实矛盾
- Opus 写出最好的联网研究答案，但被明令 web-only 时仍读了本地文件（只读未改）
- Muse 平均分最高但最不稳定：测试/脚本不结束会永久挂起，一个任务跑了 41 分钟
作者最终分工：修 bug 与长任务用 Sol 6.1/Astra Medium（沙箱内），账务用 Astra Medium，研究/写作/项目连续性用 Opus 5.5，Muse 只作受监督的溢出 worker。
「编程与Agent」频道最新
- Garry Tan 力挺 Aside Browser：让 Agent 真正用好网页的解法 — garrytan · 2026-10-23
- Monid 发布 Agent 工具真实用量榜：TinyFish 居首周处理 75 万次 — HeyAmit_ · 2026-10-23
- MCP 服务器 30 天后暗藏窃取 SSH 密钥指令，作者开源 mcp-guard 防变节 — ErgoniaWorks · 2026-10-23
- 实测：不在 AGENTS.md 里写明的 MCP 工具，编码 Agent 不会用 — colinmcnamara · 2026-10-23
- 用开源模型+Claude 把一段网球视频变成世界级教练 — tweetsatpreet · 2026-10-23
- 132 个免费开源 AI Agent 与 RAG 项目合集，星标 1.65 万 — Arindam_1729 · 2026-10-23