Prime Intellect 推出自有推理栈 Prime Inference,已服务万亿 token
xeophon · x · 2026-10-03
Prime Intellect 宣布推出 Prime Inference,展示其自有推理基础设施栈。团队称已为强化学习训练和专属客户部署提供了数万亿 token 的推理服务,主张「要拥有自己的智能,先拥有自己的推理」。 xeophon 转发并称赞其开源做法(与 vLLM、NVIDIA 等生态合作),表示会继续在其评测基准上迭代爬坡并向社区上游贡献修复。
「Infra」频道最新
- 双 RTX 3090 本地跑 256k 上下文模型,实战数月后求升级建议 — knighty1981 · 2026-10-03
- Prime Intellect 用 NVFP4 压缩 MLA KV 缓存，可多缓存约 50% token — TheZachMueller · 2026-10-03
- Runware 推出 Serverless GPU:空闲 $0,低至 $0.63/GPU 小时 — aziz4ai · 2026-10-03
- 布科夫:生成式AI只有卖GPU的在赚钱,重演互联网泡沫 — burkov · 2026-10-03
- 从抽象表示直接推导 KV-cache 位置，prefill 与推理形式可互通 — vtabbott_ · 2026-10-03
- 黄仁勋早已不止卖 GPU:NVIDIA 从 CUDA 一路铺到物理 AI — sudoraohacker · 2026-10-03