FriendliAI 访谈：Agent 让推理按「任务」计费，开源模型可省 5.5 倍成本

AI Engineer · youtube · 2026-09-20

AI Engineer 播客采访 FriendliAI 创始人 Byung-Gon Chun——其团队发明了如今成为行业标准的 continuous batching，后续工作催生了广泛使用的开源推理框架。

核心观点与内容：

同一个编码 agent 完成塔防游戏任务，开源权重模型比闭源前沿模型结果可用，成本约便宜 5.5 倍。
Agent 推理与聊天是不同的问题：聊天按请求计，agent 按「任务」计——plan/act/observe 循环可跑数分钟到数小时，子 agent 并行扇出，每条观察都追加进持续增长的上下文。
内部追踪显示相邻步骤共享巨大前缀，每次调用重复计算前缀就是浪费算力。
FriendliAI 围绕「任务完成时间」重建栈，四大支柱：前缀缓存、跨 GPU/主机内存/磁盘的分层 KV 缓存、缓存感知路由（把请求发到已持有前缀的副本而非均匀负载）、agent 感知调度。
一家客户的对比测试显示速度提升 7 倍且错误率更低。

视频含完整时间戳分段。

「Infra」频道最新