RightNow 推出推理 API:GPU 内核优化号称让 NVIDIA 性能提升 14 倍
ycombinator · x · 2026-11-17
YC 孵化的 RightNow AI 宣布推出自有推理 API,主打在 GPU 内核层面优化开源模型推理。该公司称开源模型推理市场已有半数在使用其内核,NVIDIA 借其内核获得了 14 倍性能提升。
新 API 按token计费,支持半价批量处理、容量预留与专属部署,默认零数据保留。已上线模型包括 DeepSeek V4.1 Flash(输入 $0.15/百万 token,输出 $0.60,327 tokens/s)、GLM 5.3 与 GLM 5.3 Flash、NVIDIA Nemotron 3.5 Lightning 30B(540 tokens/s)等,缓存命中率普遍超过 93%。
「创投」频道最新
- 礼来靠替尔泊肽暴利持续扫货式并购,被赞大型药企罕见的长期理性 — juanbenet · 2026-11-17
- Menlo 报告:医疗 AI 支出增至 37 亿美元,药企研发 AI 暴涨 23 倍 — mmurph · 2026-11-17
- August 获 Accel 等领投 1200 万美元,AI 替用户排队挂号为患者省 1255 美元 — anthara_ai · 2026-11-17
- 上班族构想 AI 剪辑流水线,把实拍素材批量做成餐厅短视频 — Setting-Sonne · 2026-11-17
- Nathan Benaich:欧洲包揽图像音视频与应用生成冠军,客户却都在美国 — nathanbenaich · 2026-11-17
- 独立开发者自述:token 欺诈月损数万美元,分享反欺诈完整打法 — annetgriffin · 2026-11-17