实测称编码 Agent 成功率一半靠运气:各模型随机性达 32%-52%
micahgoldblum · x · 2026-10-15
转发者指出,如今人人都在用 agent 写代码,但据引用的分析,agent 的成功有约 50% 取决于运气。配图数据显示,同一任务下不同模型的成功结果中随机成分占比悬殊:Claude Fable 5 为 52%,Claude Opus 5 为 50%,GPT-6 Astra 为 32%。这意味着编码 agent 的 benchmark 单次成绩差异可能主要来自随机波动,而非真实能力差距,提示评估需要多次重复而非看单次跑分。
「编程与Agent」频道最新
- Google/CMU 论文：安全目标单独进化，自改进 Agent 安全增益留存 55% — rohanpaul_ai · 2026-10-15
- AWS AI Labs 发布 MILO：自动进化 agent harness，Terminal-Bench 提升 12% — mangahomanga · 2026-10-15
- 三次 6 分钟停顿让 Claude agent 会话输入成本翻倍 — Future_AGI · 2026-10-15
- Sakana AI 发布 Agentic Scientist:编排编码智能体做科研，论文中稿 ALIFE 2026 — omarsar0 · 2026-10-15
- PydanticAI 2.53.0 新增 ToolCallJudge,危险工具调用先审后行 — KhuyenTran16 · 2026-10-15
- Figma Make 集成开源 CMS Payload,建站自带后端 — abhi9u · 2026-10-15