开发者推出 openjev-sglang：Qwen3.6-35B-A3B 兼容 Jev API，64 任务不到 1 秒
andersonbcdefg · x · 2026-09-18
开发者 ekzhang 发布开源项目 openjev-sglang，实现与 TypeSafe/Jev 兼容的 HTTP API，后端跑 Qwen3.6-35B-A3B。
- 性能关键：利用 SGLang 的 radix cache 保留 prefill 复用，实现极快的并行生成——64 个任务不到 1 秒完成。
- 部署架构：每个容器一张 B200，跑 SGLang 0.5.19 的 Rust 前端，启用 radix caching 和可中断 prefill CUDA graph；独立 Python API 进程用 FastAPI + uvloop + Rust 版 HF tokenizer，通过池化异步 HTTP 连到本机 SGLang。
- 部署方式：通过 Modal 一键部署，uv run modal deploy modalapp.py 即可得到公网端点，支持自动扩缩容；CUDA 依赖全部留在 SGLang 容器里，本地只需安装 API 与测试。
项目已开源在 GitHub，附有示例与测试。
所属事件:开发者推出 Jev 兼容开源自托管 API(2 条相关)→
「编程与Agent」频道最新
- Cohere Labs 智能体团队构建方法降本 70%，兼顾效率 — Cohere_Labs · 2026-11-02
- Ыég especial: 长文析 AI 价值在效率之后：Infra 必然过剩，应用层基建正当时 — yangyi · 2026-11-02
- 开源 offprompt：MCP 服务器让 Agent 请求密钥却永远看不到明文 — Vast_Ad_7338 · 2026-11-02
- Reddit 讨论：把 OOP 公有方法直接变成 AI Agent 可调用的工具 — out_of_nowhere__ · 2026-11-02
- DeepSeek 设计文档：一人只能盯 3-5 个 agent 会话，瓶颈不再是模型 — heyshrutimishra · 2026-11-02
- 资深工程师谈 AI 编码：软件工程功底决定 agent 输出质量 — bendee983 · 2026-11-02