有人快速做出 Jev 兼容自托管 API,64 任务并行生成不到 1 秒
iamrobotbear · x · 2026-09-18
ekzhang1 受 @typesafeai 启发，上线了一个 Jev 兼容的公开 API：
- 运行能力相近的开源模型 Qwen3.6-35B-A3B
- 使用 SGLang radix cache 保留 prefill 复用，实现极快的并行 system-one 生成：64 个任务在 1 秒内完成
转发者 rawworks 表示对 Jev 的生态爆发感到兴奋，称这种热度类似 DeepSeek 发布时的场景；同时指出自己一半的想法要求该「系统一」模型私有，其中一半还要求本地部署——社区对私有化/本地化部署的 Jev 兼容方案已有强烈需求。
所属事件:开发者推出 Jev 兼容开源自托管 API(2 条相关)→
「Infra」频道最新
- Gary Marcus:多米诺骨牌开始倒下,算力将重演光纤过剩 — GaryMarcus · 2026-11-02
- 所有系统知识都将汇入推理与硬件，AI 时代技能版图正在重写 — Abhishekcur · 2026-11-02
- AWS 被曝算力订满至 2027，专家称「卖光」说法需看语境 — DavidLinthicum · 2026-11-02
- 富士康董事长刘扬伟：AI 不是泡沫，产品需求依然明确 — pstAsiatech · 2026-11-02
- 单卡 H200 跑 DeepSeek V4.1,时租仅 5.3 美元 — daluoseo · 2026-11-02
- 韩国芯片出口加速增长,年出口 1 万亿美元目标在望 — pstAsiatech · 2026-11-02