Baseten 上线延迟工具加载:agent 成本降 62%、速度提 26%
baseten · x · 2026-11-20
Baseten 宣布其 Model API 正式支持 DeepSeek、Kimi、GLM 的 deferred tool loading(延迟工具加载)。配套文章《Inference field notes》详述原理:agent harness 的发展正从「做加法」转向「做减法」,通过延迟加载工具定义来削减 prompt 体积。
要点:
- 在其 coding benchmark 中,同样的模型与 harness 下,agent 运行成本最多降低 62%,速度提升 26%
- 收益来源是砍掉系统提示里海量工具 schema 的重复 token 消耗
- 已在 Baseten Model API 上对三大开源模型开箱可用
「编程与Agent」频道最新
- Stripe evals 详解:agent 偏好旧 API、幻觉频发,官方插件可救 — emilygsands · 2026-11-20
- Stripe 开源编码 Agent 评测:14 个 Agent 平均仅 29% 任务全达标 — emilygsands · 2026-11-20
- Stripe 实测:编码 Agent 支付集成平均达标 78%,全过仅 29% — emilygsands · 2026-11-20
- Stripe 官方实测:agent 插件让 14 个编码 agent 平均提升 3-8 分 — emilygsands · 2026-11-20
- Stripe 开源编码 agent 集成评测基准,14 个组合横览出炉 — emilygsands · 2026-11-20
- 用 DrawingML 让 Agent 画出 PowerPoint 里可直接编辑的图表 — kristoph · 2026-11-20