RightNow 推出推理 API:GPU 内核优化号称让 NVIDIA 性能提升 14 倍

ycombinator · x · 2026-11-17

YC 孵化的 RightNow AI 宣布推出自有推理 API,主打在 GPU 内核层面优化开源模型推理。该公司称开源模型推理市场已有半数在使用其内核,NVIDIA 借其内核获得了 14 倍性能提升。

新 API 按token计费,支持半价批量处理、容量预留与专属部署,默认零数据保留。已上线模型包括 DeepSeek V4.1 Flash(输入 $0.15/百万 token,输出 $0.60,327 tokens/s)、GLM 5.3 与 GLM 5.3 Flash、NVIDIA Nemotron 3.5 Lightning 30B(540 tokens/s)等,缓存命中率普遍超过 93%。

原文链接 →

「创投」频道最新

更多「创投」频道 AI 资讯 →