Prime Inference 上线 OpenRouter 一个月日处理 token 破 1200 亿
woosuk_k · x · 2026-10-29
Prime Inference 接入 OpenRouter 仅一个月，日服务 token 量从零增长到 1200 亿，且这仅占其总吞吐的一小部分。该推理服务基于开源 vLLM 项目，大规模服务开源模型。开发者晒出增长曲线，vLLM 团队成员转发确认其作为底层引擎的作用。
所属事件:Prime Inference 接入 OpenRouter 一个月日处理 token 破 1200 亿(3 条相关)→
「Infra」频道最新
- 专给 AI 用的浏览器 Lightpanda 爆火:内存比无头 Chrome 省 16 倍 — techNmak · 2026-10-29
- 单台 GB300 NVL72 日产 10T tokens：xjdr 抛出推理经济学之问 — _xjdr · 2026-10-29
- OpenBonsai 开源：9B 模型压到约 2GB 三值 GGUF，RTX 5090 五小时完成 — ButtercupLyn100 · 2026-10-29
- KLA 财报：存储将占其过程控制收入 60%，CY27 WFE 超 2000 亿美元 — zephyr_z9 · 2026-10-29
- vLLM 新加坡 meetup：NVIDIA、阿里云等分享高吞吐 prefill 与 Blackwell 实践 — vllm_project · 2026-10-29
- JSSA 稀疏注意力：128K 上下文解码吞吐最高提升 6.43 倍 — pmttyji · 2026-10-29