实测 100 组 Terminal-Bench 2.1:Luna 6 反而全面落后 Luna 5.6
s1lverkin · reddit · 2026-09-26
作者在 Harbor 框架的 Terminal-Bench 2.1 上,对 Luna 5.6 和 Luna 6 各跑 100 个相同槽位、并隔天复测一遍。
- Luna 5.6 在各配置下通过 82–93/100;Luna 6 仅 29–62/100,Xhigh/Max 档反而更差(如 Max Standard 33/100、29/100)
- 成本上 Luna 6 更便宜更快(如 Medium Fast $0.69、62 通过),但能力差距明显
- 作者排查后猜测根因:任务容器继承 read-only 配置,Luna 5.6 能区分宿主机只读与容器内可写并正常用 tb4terminalexec 写文件,Luna 6 则误以为整个环境只读——一个 Coq 任务里它甚至没尝试写就宣布工作区只读
- 作者自称让 codex 分析原因,其给出的「容器只读」解释并不成立
- 总计 1300 次试验、384M tokens、约 $29,作者强调样本仅取最快的 100 个槽位,不能代表所有负载
「编程与Agent」频道最新
- Explosion 发布 Ellf 目录：52 个 NLP 模板与多智能体标注工作流 — _inesmontani · 2026-11-11
- 梗图吐槽:所谓随机 AI Agent 架构就是换了马甲的马尔可夫链 — PrasoonPratham · 2026-11-11
- OpenCode 上线 Gemini 4 Carbon 与 Claude Fable 5.2 — dean_rie · 2026-11-11
- OpenClaw 发布 v2026.11.3 安全补丁，56 个 PR 修复凭证泄露 — dean_rie · 2026-11-11
- Fable 5.2 首日拿下编码 Agent 中 1/4 的 Claude 回复 — dean_rie · 2026-11-11
- QA 工程师想用 MCP Agent 自动验证归因回传，替代每两周半天的人工检查 — Soobhee_Chukwutosin · 2026-11-11