Rust+ONNX 在 CPU 上跑 SigLIP 2
kuaythrone · reddit · 2026-07-18
作者在做一个机器人数据平台，数据里同时有图片、视频和文本元数据。
他们的做法是把 SigLIP 2 的多模态 embedding 拆成两条链路：
- GPU 负责批量、异步的图像/视频 embedding 和索引构建；
- 一个 Rust + ONNX Runtime 的轻量服务在 CPU 上处理实时文本查询。
因为文本和图像最终落在同一个 embedding 空间里，所以可以直接用文本去搜 GPU 构建好的图像索引。作者认为这种拆分很实用：把稀缺 GPU 留给高吞吐的多模态摄取，查询侧则用普通 CPU 机器扩容。他也想了解别人是否在类似的低延迟推理服务里使用 Rust。
「Infra」频道最新
- 单 GPU 收入可随降价上升：Gavin Baker 拆解 token 价格与利润率的算术 — GavinSBaker · 2026-10-27
- Anthropic S-1 关键数字:成立以来算力支出仅 193 亿美元,算力过度建设警报 — bookwormengr · 2026-10-27
- CoreWeave 三周 RL 后训练:BrowseComp 提升 22.9%,工具调用省三成 — RichardSocher · 2026-10-27
- 电网排队成 AI 工厂瓶颈,Exowatt 与 Redwood 给出储能新解法 — ingliguori · 2026-10-27
- Wasmtime 曝两个 CVSS 9.9 沙箱逃逸漏洞，其中一个仅影响 ARM64 — basedjensen · 2026-10-27
- AI 数据中心时代用电论战：有人还在纠结灯泡省电与调整时区 — mgostIH · 2026-10-27