Blink 嵌入速度实测:model2vec 单查询快 3.8 倍,批量场景 ST 反超 2.2 倍
tomaarsen · x · 2026-11-18
tomaarsen 在 i7-13700K 上对 Blink 静态模型做小型 CPU 测试:单条查询时 model2vec 比两者都快 3.6-3.8 倍;当两者都用 batchsize=1024 批量推理时,Sentence Transformers 反而快约 2.2 倍。他推测 model2vec-rs 的 Rust 实现会两者都更快。
补充:轻量部署下 model2vec 可用 NumPy 运行同一模型、不依赖 PyTorch;Blink 输出已归一化的嵌入,点积即余弦相似度。
「Infra」频道最新
- 美国六天内五起系统宕机,零起确认网络攻击 — justin_hart · 2026-11-18
- Gary Marcus:英伟达财报涨势不足 15 分钟,Oracle 自峰值跌 65% — GaryMarcus · 2026-11-18
- Roboflow 指出视觉 AI 长尾困境:BNSF 用 32500 英里铁轨部署专用视觉模型 — PTrubey · 2026-11-18
- Be your own datacenter:全套开源自建 AI 工作站指南 — dee_hw · 2026-11-18
- Runway 优化推理:57B 视频模型实时对话从 8 张 H100 降到 4 张 — runwayml · 2026-11-18
- 哈佛研究:美国超大规模数据中心逾半电力来自煤电与天然气 — The Decoder · 2026-11-18