开发者推出 openjev-sglang：Qwen3.6-35B-A3B 兼容 Jev API，64 任务不到 1 秒
andersonbcdefg · x · 2026-09-18
开发者 ekzhang 发布开源项目 openjev-sglang，实现与 TypeSafe/Jev 兼容的 HTTP API，后端跑 Qwen3.6-35B-A3B。
- 性能关键：利用 SGLang 的 radix cache 保留 prefill 复用，实现极快的并行生成——64 个任务不到 1 秒完成。
- 部署架构：每个容器一张 B200，跑 SGLang 0.5.19 的 Rust 前端，启用 radix caching 和可中断 prefill CUDA graph；独立 Python API 进程用 FastAPI + uvloop + Rust 版 HF tokenizer，通过池化异步 HTTP 连到本机 SGLang。
- 部署方式：通过 Modal 一键部署，uv run modal deploy modalapp.py 即可得到公网端点，支持自动扩缩容；CUDA 依赖全部留在 SGLang 容器里，本地只需安装 API 与测试。
项目已开源在 GitHub，附有示例与测试。
「编程与Agent」频道最新
- Honeycomb CTO 发文:公司一半人恨 AI slop,一半人恨不用 AI — mipsytipsy · 2026-09-18
- 免凭证 MCP 模板发布:Agent 无需接触 API 密钥即可调用工具 — uzi24- · 2026-09-18
- openwiki v0.5.2 接入 IBM bob,编程 agent 集成达 6 个 — Hacubu · 2026-09-18
- 用 Claude Cowack 跑销售流程:能干 80% 的活,闭环学不会 — Prestigious_Rub5 · 2026-09-18
- 用户吐槽 Claude Opus 5:迁移任务毁了整天基准测试成果 — julianharris · 2026-09-18
- 法律科技公司 Clio 推出 Codex MCP 插件,律师可直用 Vincent 能力 — EJWalters · 2026-09-18