单日推理 41T tokens,YC 关联公司冲击月产千万亿 tokens 开源模型服务
ycombinator · x · 2026-11-18
thdxr(经 Y Combinator 账号转发)披露其推理业务单日处理了 41 万亿(41T)tokens,并放话将成为首家月处理 1 千亿——即 quadrillion(10^15)——tokens 的开源权重模型推理服务商。这一量级数字直观展示了开源权重模型在生产环境中的真实负载规模,也说明开源模型推理正在成为一门以 token 吞吐量计的规模化生意。
「Infra」频道最新
- 实测 Blackwell:mxfp6 吞吐仅略高于 mxfp8,fp4 GEMM 快得多 — AnushElangovan · 2026-11-19
- 爆料称出口管制致 AI 算力订单取消、预付款被退回 — zephyr_z9 · 2026-11-18
- 英特尔 CEO 证实 18A 工艺签下首个外部客户 — kevinsxu · 2026-11-18
- 腾讯称 AI 资本开支已近峰值,2028 年起现金支出将回落 — jukan05 · 2026-11-18
- 芯片公司没在怕:OpenAI 暂停训练后 Nvidia 仍史上最快放量 Vera Rubin — The Verge AI · 2026-11-18
- 路透:Nvidia 停止向中国出货已获批 AI 芯片 — minchoi · 2026-11-18