Blink 嵌入速度实测:model2vec 单查询快 3.8 倍,批量场景 ST 反超 2.2 倍

tomaarsen · x · 2026-11-18

tomaarsen 在 i7-13700K 上对 Blink 静态模型做小型 CPU 测试:单条查询时 model2vec 比两者都快 3.6-3.8 倍;当两者都用 batchsize=1024 批量推理时,Sentence Transformers 反而快约 2.2 倍。他推测 model2vec-rs 的 Rust 实现会两者都更快。

补充:轻量部署下 model2vec 可用 NumPy 运行同一模型、不依赖 PyTorch;Blink 输出已归一化的嵌入,点积即余弦相似度。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →