NuMind 开源 vLLM 插件：让已加载的 LLM 免费输出多模态嵌入

Gailenstorm · reddit · 2026-10-12

NuMind（NuExtract3 模型背后的公司）发布了一个 Apache-2.0 的 vLLM 插件，可以从已在 vLLM 中服务的（多模态）LLM 直接获取文本/图像嵌入，无需额外部署专用 embedding 模型。

原理：模型预测第一个输出 token 时，内部已对 prompt 计算了每层 hidden state；插件将最后一个 hidden state 向量通过 chat API 暴露出来（兼容 openai 客户端，需 opt-in 单 token 非流式请求）。该方法基于 E5-V 论文，用「用一词总结以上图像」类 prompt 引导模型把关键信息集中到该位置。

适用场景包括本地 RAG、语义搜索、文档/图像聚类、训练小型分类器。作者提醒 hidden state 不必然是好的嵌入，质量取决于模型、prompt 和任务，专用 embedding 模型可能更快更好。相关代码已提交 vLLM 上游 PR #57185，作者还考虑移植到 llama.cpp。

原文链接 →

「Infra」频道最新

• ResidualQuant实测:RTX 5090上16K上下文解码吞吐提升4.15倍 — sehoonkim418 · 2026-10-12
• 利用循环间 KV 状态相似性做低比特量化，破解循环模型显存瓶颈 — sehoonkim418 · 2026-10-12
• Looped Transformer 的 KV 缓存困境：ResidualQuant 用 2-bit 残差省 80% 显存 — sehoonkim418 · 2026-10-12
• Rust 编写本地推理引擎 Uzu 开源，实测速度引开发者惊叹 — Dan_Jeffries1 · 2026-10-12
• Graphsignal 推出推理 GPU 版 top:按耗时给 kernel 排名,一眼看出 NCCL 占了四分之一 GPU 时间 — l0g1cs · 2026-10-12
• 全球手机出货量暴跌 20%,AI 挤占内存致 14 年来最差三季度 — Polymarket · 2026-10-12

更多「Infra」频道 AI 资讯 →