Fireworks 发布 Ultra-fast 推理:1500 tok/s 与半价后台推理
nicolechirps · x · 2026-11-04
Fireworks 在首届 Forge 大会上发布系列新产品,主打帮助企业基于开源权重模型构建专属智能。发布内容:Ultra-fast 推理(基于 NVIDIA Blackwell,最高 1500 tok/s);Background Mode 半价推理;Nexus 订阅(Pro 计划每月 8 美元起);Specialized Model Inference(LoRA 无需 GPU 部署);Fireworks Sovereign(在其引擎跑在客户自己的 GPU 上);No Eval(从生产 traces 自动生成评测)。战略叙事是围绕开源模型组 ensemble 降本、再用业务数据微调,形成对封闭前沿实验室的替代路线。
所属事件:Fireworks 发布超快推理与私有化部署新品(2 条相关)→
「Infra」频道最新
- mlx-serve 新 PR:两台 Mac 经雷电 5 跑张量并行,DeepSeek 解码提速 57% — HankYeomans · 2026-11-04
- PyTorch Day Japan 12月东京举行,含 ExecuTorch 移植边缘加速器实战议题 — PyTorch · 2026-11-04
- 2B 决策模型跑上树莓派:单次图像决策约 9 秒 — JosephJacks_ · 2026-11-04
- 推理引擎大爆炸:llama.cpp 老用户追不动新框架了 — Kahvana · 2026-11-04
- 算账:一张 RTX 6000 Pro 年租金已超全球人均年收入 — KyeGomezB · 2026-11-04
- 语音 AI 并发限制成隐性成本税,Phonic 分享应对方案 — graceisford · 2026-11-04