开源 Jev 玩法：SGLang Radix Cache 助 Qwen3.6-35B-A3B 一秒跑完 64 个决策
multiply_matrix · x · 2026-09-25
SGLang 官方认为其高效前缀缓存与快速稳定的结构化生成非常适合 Jev 风格的推理，并列举了若干 Jev 项目。其中 ekzhang1 的 openjev-sglang 搭建了一个 Jev 兼容的公开 API，使用可比较的开源模型 Qwen3.6-35B-A3B，借助 SGLang 的 Radix Cache 复用共享 prefill、实现极快的并行结构化生成——64 个任务在一秒内完成。想体验 Jev 推理范式的开发者可以直接上手这个开源实现。
「Infra」频道最新
- Oracle「木星计划」巨型数据中心宣布不可抗力，威胁美国 AI 部署 — AIFlow_ML · 2026-09-25
- Wasmer 在 iOS 和浏览器跑起 PostgreSQL 18.4，全程无需后端 — jedisct1 · 2026-09-25
- 推理服务商 Jatevo:已交付 1240 亿 token、166 万次请求、14.7 万美元推理 — toptickcrypto · 2026-09-25
- 免校准量化方法 TQ 开源:4-bit 量化 Qwen3.8-27B 即发即用 — textclf · 2026-09-25
- Ben Bajarin:Agent 推理重塑数据中心 CPU/GPU 配比,neocloud 落后 hyperscaler — BenBajarin · 2026-09-25
- PreFT 论文入选 NeurIPS:仅 Prefill 阶段用 LoRA,多适配器推理提速 — aryaman2020 · 2026-09-25