VLM Run Gateway 发布：一个 API 统一运行开源 OCR、VLM 与视觉模型，直指服务商量化坑
spillai · x · 2026-10-28
VLM Run 在 Hugging Face 发布 VLM Run Gateway：统一 API 运行开源权重 VLM、OCR VLM 与 ViT 视觉模型，源于团队在生产中跑这些模型的痛点。
作者总结的几类「footgun」：
- 量化模型同名不同质：服务商常以同一 model-id 提供不同量化版本与服务参数；视觉任务对此极敏感，文本基准上看着没问题的量化版会明显损害 OCR/小字/空间精度
- 视频支持差：测试主流 router 时，80% 以上服务商不支持视频输入，能控 FPS 的更少
- 文档推理全是流水线工程：PDF 栅格化、页级并行、失败重试、限流处理等都得自己写
- 标准化抽象漏气：上下文上限、最大分辨率、FPS 采样、量化、GPU 架构都会造成同 model-id 下的质量波动
目标是给内部 agent 与评测提供一套可信的统一视觉模型入口，另提供可直接试用的在线入口和 uvx CLI 命令。
「Infra」频道最新
- 开发者用 EmbeddingGemma 2 搭实时嵌入端点：文本 20ms，全程只跑 MacBook CPU — generativist · 2026-10-28
- Nebius 实测:8 张 GPU 拆成 8 份跑 Cosmos,出片量多 42.5% — shashib · 2026-10-28
- AI 时代数据中心成安全新前线：网络与物理威胁加速融合 — ChuckDBrooks · 2026-10-28
- 开源工具 preowned 把 macOS 内置模型变成 OpenAI 兼容本地 API — pcuenq · 2026-10-28
- AMD MI355X 上跑出 2100+ tok/s，推理引擎协同设计削平协调税 — JiaZhihao · 2026-10-28
- LFM3-VL-2B 在浏览器内以 WebGPU 实现实时视频字幕 — xenovatech · 2026-10-28