Airbnb 拆解编码 Agent 运营账:用「单任务成本」选模型与限推理档位
AWS ML Blog · rss · 2026-11-19
AWS ML Blog 刊文详解 Airbnb 如何在 Amazon Bedrock 上以「每任务成本(cost per task)」运营内部编码 Agent 平台 AirChat:数千名工程师每周使用,五周内涌出 8 个新模型,到 10 月中旬约 2/3 的请求流向新模型。
核心做法:
- 发布前:在自有任务集(7 个套件、真实代码变更+评审意见构建)上跑 eval,同时记录得分与单任务成本,据此设定各工具的默认模型和推理档位上限(effort ceiling),由 LLM 网关强制执行
- 发布后:用 CloudWatch 的 Bedrock 指标监控延迟(InvocationLatency、TTFT、OTPS)、限流(EstimatedTPMQuotaUsage 可设配额告警)与四类 token 成本(含缓存读写价差)
- 实测案例:某模型推理档位从 low 提到 high,得分仅涨 0.8 分,单任务成本涨 2.5 倍——据此收紧档位
文中还给出落地清单:流式调用才有 TTFT、各区域开启调用日志并限制读取、成本分摊标签需提前激活、价格表须带日期以便同口径计价。
「编程与Agent」频道最新
- ØMEGA Modus:7KB Markdown 规则让编码 agent 不再谎报已验证 — MichaelS1011 · 2026-11-19
- Ramp 发布 SWE-Bench v2:500 个真实生产任务考.agent 代码可合并性 — charliermarsh · 2026-11-19
- OpenAI CLI 新增 explore 命令:用自然语言查找终端指令 — OpenAIDevs · 2026-11-19
- Mythical Creature:不做 Figma 原型的 AI 时代设计工作室 — round · 2026-11-19
- a16z 领投 Linq B 轮,押注 AI Agent 通信基础设施 — Scobleizer · 2026-11-19
- Prompt Engineering 实测 Gemini 4 Neon:从 3D 巨龙到无训练神经网络七个案例 — Prompt Engineering · 2026-11-19