1152 次调用实测:工具参数一个词之差,准确率从 53% 到 79%
dbreunig · x · 2026-11-04
nicolaygerold 测试 Amp artifact 工具单个参数的 6 种命名方式，在 Opus 5.5、Sonnet 5.5 和 GPT-6.1 Sol 上共跑 1152 次调用，衡量模型选对 artifact 类型的比例。
- 仅靠命名:format: markdown | html 只有 53% 选对;改用 kind: document | visual 提升到 79%
- 配图显示:每个值附一句说明时,所有命名方案都跃升至 97–99%,「描述比命名更重要」
- 命名提到 format 和 markdown 时,模型反而开始画 ASCII 图而不写 HTML
结论:工具参数命名方式影响巨大,但一段简短描述能几乎抹平差异。
「编程与Agent」频道最新
- 英伟达开源 Auto Ontology：给企业数据建可审计的 AI 语义层 — aigclink · 2026-11-04
- 英伟达开源 Auto Ontology：给企业数据装上 AI 可信语义层 — aigclink · 2026-11-04
- 从聊天机器人到 Agent：工具、规划、记忆三步演进的故事化讲解 — _jaydeepkarale · 2026-11-04
- 币安 70 亿美元被盗：攻击链起点竟是一次 vibe coding 装错 Homebrew — xuanalogue · 2026-11-04
- 花 100 美元 GPU 费改模型权重,思考 token 省 40% — jarrodwatts · 2026-11-04
- Cua Driver 携手 Google Antigravity，智能体可后台跨应用操作电脑 — m4rkmc · 2026-11-04