50 次 Agent 测试:没有一个模型去读文档
ducha_aiki · x · 2026-10-26
一组针对五个模型的 agent 任务评测结果(图示):Sonnet 5.5、Flash、Luna、Terra 均通过 10/10,Flash-Lite 为 7/10;速度差异巨大——Sonnet 5.5 中位耗时 24 秒,Flash 却要 9.7 分钟。
最反直觉的发现:50 次运行中,没有任何一个模型去抓取文档页面或查阅文档——作者感叹「agents 和人真像」:都急着把任务做完,没人读说明书。
「编程与Agent」频道最新
- nutlope 详解 vibe coding 六步工作流:语音提需求+截图+追问式 agent — nutlope · 2026-10-26
- 当模型接近超人类智能时,评测也要更激进 — shyamalanadkat · 2026-10-26
- 开源 GenAICode:一个 API 统管 Claude Code、Codex、Cursor 等 9 个编码 Agent — Codeblix_Ltd · 2026-10-26
- 用 Claude 把高斯泼溅花园场景在 Blender 里程序化重建 — CSProfKGD · 2026-10-26
- macOS 全本地听写工具 Vocs:whisper.cpp 流式解码,短片段快 8 倍 — zenitsu--DS · 2026-10-26
- 实测多数 MCP 服务器漏标安全提示:idempotent 和 openWorld 最常缺失 — abhiramreddykalluru · 2026-10-26