Rust+ONNX 在 CPU 上跑 SigLIP 2
kuaythrone · reddit · 2026-07-18
作者在做一个机器人数据平台，数据里同时有图片、视频和文本元数据。 他们的做法是把 **SigLIP 2** 的多模态 embedding 拆成两条链路： - **GPU** 负责批量、异步的图像/视频 embedding 和索引构建； - 一个 **Rust + ONNX Runtime** 的轻量服务在 **CPU** 上处理实时文本查询。 因为文本和图像最终落在同一个 embedding 空间里，所以可以直接用文本去搜 GPU 构建好的图像索引。作者认为这种拆分很实用：把稀缺 GPU 留给高吞吐的多模态摄取，查询侧则用普通 CPU 机器扩容。他也想了解别人是否在类似的低延迟推理服务里使用 Rust。