Luminal 推理云日处理 2.3 万亿 token,将向公众开放
AccBalanced · x · 2026-10-15
Luminal(由 Joe Fioti 创立)宣布其在私有专有部署上增长极快,现正开始向公众开放云服务,目前每天处理约 2.3 万亿 token。其使用 Luminal 编译的推理栈,目标是达到每天数千万亿(quadrillion)token。同时被引用的 Liquid Inference 路由网络称已有 28 家经认证公司接入、服务超 1000 个模型,可动态提供算力并实时报价,供应商接入模型平均仅需 3 小时,一天内完成完整验证。
「Infra」频道最新
- Fish Audio Drama 3 登陆 vLLM:35B 语音模型单卡 H200 跑 128 路并发 — vllm_project · 2026-10-15
- 1174 台 Mac 组网跑开源模型:Darkbloom 60 天增 4.5 倍,成本砍半 — gajesh · 2026-10-15
- 曝字节跳动洽购联发科定制 AI 芯片，效仿谷歌自研路线 — mark_k · 2026-10-15
- Decision Models 挖矿将适配小模型：Jetson 与纯 CPU 也在计划中 — airesearch12 · 2026-10-15
- TRL AsyncGRPO 上线 Tree Packing,同等奖励省 26 倍训练算力 — SergioPaniego · 2026-10-15
- JSSA 稀疏注意力：128K 上下文解码吞吐最高提升 6.43 倍 — SNU-VLSI · 2026-10-15