VitalOps 上线：智能体自动优化推理栈，实测提速 2.6 倍
abhijithneil · x · 2026-10-12
VitalOps 宣布全力投入推理优化业务，提供从 serving 引擎到底层 kernel 的自动优化、部署与边缘/GPU 仿真服务。
其方案是一个 agentic 优化器，自动搜索整个推理栈并在 SASS 层验证正确性，附带 server 与工程团队支持。支持开源 LLM/VLM，目标硬件覆盖 H100、B200、Jetson、Apple、Qualcomm，并强制精度下限。
从产品界面截图看：当月 23 次 run，中位加速 2.6×；案例包括 Qwen3-32B 在 2×H100 上 3.3×（6,120 tok/s）、DeepSeek-R1-32B 2.9×、Llama-3.3-70B 搜索中 2.1×，也支持 Whisper、bge-m3 等模型，kernel 级验证如 fusedrmsnormquant 达 18.4 µs、误差 3.1e-4。
「Infra」频道最新
- 2美元ESP32跑DNS广告拦截,14万域名仅占0.7MB — LinusEkenstam · 2026-10-12
- 工程师晒入职满月动态：加入英伟达做 Groq LPU 编译器 — blelbach · 2026-10-12
- Linus Ekenstam 立目标：要在手机上跑千亿参数模型 — LinusEkenstam · 2026-10-12
- Brookings:AI 建设融资十年将耗 10.3 万亿美元,占 GDP 3.63% — KyeGomezB · 2026-10-12
- Fireworks 实战：开源模型加微调可追平闭源，Cursor 推理快 13 倍 — AI Engineer · 2026-10-12
- 456GB 大模型塞进 192GB 显存：混合 offload 推理实测跑通 — HankYeomans · 2026-10-12