Hugging Face 推理服务今晨更新,TTFT 提速 1.5 倍

osanseviero · x · 2026-11-18

Hugging Face 的 Omar Sanseviero 宣布为 carbon 部署上线缓存等推理服务优化:AGY 的 TTFT(首 token 时间)自当日起提速 1.5 倍。

团队还在改进 token 与工具调用效率以及 harness,目标是让未来的模型实现更高的“每秒智能”。Jeremy Howard 等人表达了支持。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →