Photon 2.0 把 Moondream、Qwen 3.5 编译成 megakernel
sloppenheimer · x · 2026-08-04
Photon 2.0 被定位为一个编译器驱动的推理引擎：把 Moondream、Qwen 3.5、Gemma 4 编译成 megakernel，也就是把整个 forward pass 压成一个 GPU 程序。
帖子里的图表宣称，在 NVIDIA H100、相同请求流与并发条件下，它相对 vLLM 的吞吐提升从 +10.4% 到 +132.7% 不等。作者想表达的核心是：物理 AI 场景需要一套不同于手工调 kernel 的专用推理栈。
「Infra」频道最新
- Wan 2.1 可在三星手机本地运行，Quartz 支持图像视频生成 — SaientAI · 2026-08-04
- NVIDIA 推出零售版代理电商方案，强调商家控制结账与定价 — nvidia · 2026-08-04
- Stripe Projects 让 AI 代理从命令行开通主机鉴权数据库 — jeff_weinstein · 2026-08-04
- 多智能体工作流会烧掉海量 token，关键是控制重复成本 — HaktanSuren · 2026-08-04
- Next.js 16.3 内存降 90%，还加入智能体专用文档 — cramforce · 2026-08-04
- TokTier 用有状态分词加速智能体服务并保持精确一致 — omarsar0 · 2026-08-04