Hugging Face 推理服务今晨更新,TTFT 提速 1.5 倍
osanseviero · x · 2026-11-18
Hugging Face 的 Omar Sanseviero 宣布为 carbon 部署上线缓存等推理服务优化:AGY 的 TTFT(首 token 时间)自当日起提速 1.5 倍。
团队还在改进 token 与工具调用效率以及 harness,目标是让未来的模型实现更高的“每秒智能”。Jeremy Howard 等人表达了支持。
「Infra」频道最新
- 微软开源「BitNet」:单颗 CPU 跑 1000 亿参数模型,提速 6 倍 — CurieuxExplorer · 2026-11-18
- FT 起底黄仁勋家族与英伟达新加坡交易,争议升级 — basedjensen · 2026-11-18
- TSMC 要求客户现金预付锁产能,AI 算力资金循环吃紧 — basedjensen · 2026-11-18
- 开源 EDA 工具十年逆袭:从「不可能」到设计出蓝牙信标芯片 — IgorCarron · 2026-11-18
- 热评:黄仁勋接班人布局背后的东亚供应链关系网逻辑 — minhnguyen · 2026-11-18
- 电工即将装好 L14-30R 插座,家中 GPU 机架将重新通电 — TheZachMueller · 2026-11-18