亚马逊用工单决策模型替换 Sonnet 4.6,成本降 98% 年省数百万
victormustar · x · 2026-11-10
两名 Amazon 工程师把全球最大内部工单系统之一的分类任务从 Claude Sonnet 4.6 换成了 Strands 团队一个月前发布的决策模型 Strands Decider(E4B Gemma 4 构建),效果相当但 token 成本降低 98%,一年可省数百万美元。
核心思路:
- 原方案:每张工单都跑一个带长 system prompt 的 LLM agent,生成 JSON 并在 20 个固定分类里推理打标。
- 新方案:决策模型不能生成文本,只接收「状态(工单)+ 问题 + 候选选项(标签目录)」,输出每个选项的概率和置信度,天然贴合工单打标场景。
- 工程细节:先试 Strands Decider 2B,测试集上 E4B Gemma 4 版本效果明显更好于是切换;之后调整「置信度达到多少才应用标签」的阈值来校准准确率。
这篇文章佐证了一个工程经验:对分类类任务,用 LLM 生成标注数据训练小型专用模型再替换 LLM,是性价比极高的路径。
「编程与Agent」频道最新
- 把网页打包成桌面应用：tw93 的 Pake 下载量已超 53.9 万 — Aiden_Tech_Ai · 2026-11-10
- Frontier3DBench：145 个任务实测编码智能体能否替代 3D 视觉管线 — Aiden_Tech_Ai · 2026-11-10
- Human in the loop 易,让审核员保持专注难:四个指标判断审批是否形同虚设 — alex_verem · 2026-11-10
- 付费 Agent vs 开源克隆:自托管要接手三件事,数据去向自己担 — femke_plantinga · 2026-11-10
- 95% 可靠率连乘 20 步仅剩 36%，Reddit 热帖算清 Agent 失败概率 — Infinite_Web1576 · 2026-11-10
- Slite Agent 接入 Granola、Miro、Box、monday.com 四大数据源 — femke_plantinga · 2026-11-10