FriendliAI 访谈：Agent 让推理按「任务」计费，开源模型可省 5.5 倍成本
AI Engineer · youtube · 2026-09-20
AI Engineer 播客采访 FriendliAI 创始人 Byung-Gon Chun——其团队发明了如今成为行业标准的 continuous batching，后续工作催生了广泛使用的开源推理框架。
核心观点与内容：
- 同一个编码 agent 完成塔防游戏任务，开源权重模型比闭源前沿模型结果可用，成本约便宜 5.5 倍。
- Agent 推理与聊天是不同的问题：聊天按请求计，agent 按「任务」计——plan/act/observe 循环可跑数分钟到数小时，子 agent 并行扇出，每条观察都追加进持续增长的上下文。
- 内部追踪显示相邻步骤共享巨大前缀，每次调用重复计算前缀就是浪费算力。
- FriendliAI 围绕「任务完成时间」重建栈，四大支柱：前缀缓存、跨 GPU/主机内存/磁盘的分层 KV 缓存、缓存感知路由（把请求发到已持有前缀的副本而非均匀负载）、agent 感知调度。
- 一家客户的对比测试显示速度提升 7 倍且错误率更低。
视频含完整时间戳分段。
「Infra」频道最新
- Reddit 热议:AI Agent 运行时能不能搬到 Cloudflare Workers 等 Edge? — merlinofthewater · 2026-09-20
- 质疑：Jev 主打速度，为何还要经 OpenRouter 多一层延迟 — deliprao · 2026-09-20
- 传银行叫停算力贷款,AI 算力信贷紧缩开始 — AccBalanced · 2026-09-20
- 开源模型占 Vercel AI 网关 token 量达 78.4%,创历史新高 — Polymarket · 2026-09-20
- 免重训加速 MiniMax-H3:SPEED V2 发布,新增 5 种采样器 — antipode_insights · 2026-09-20
- 阿里云 token 需求暴涨传 500%,但作者提醒别直接换算成营收 — menhguin · 2026-09-20