单日推理 41T tokens,YC 关联公司冲击月产千万亿 tokens 开源模型服务

ycombinator · x · 2026-11-18

thdxr(经 Y Combinator 账号转发)披露其推理业务单日处理了 41 万亿(41T)tokens,并放话将成为首家月处理 1 千亿——即 quadrillion(10^15)——tokens 的开源权重模型推理服务商。这一量级数字直观展示了开源权重模型在生产环境中的真实负载规模,也说明开源模型推理正在成为一门以 token 吞吐量计的规模化生意。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →