NuMind 发布 vLLM 插件，可从已部署多模态 LLM 直接获取嵌入向量

NuMind 员工 /u/Gailenstorm 发布了 Apache-2.0 的 vLLM 插件，从已在 vLLM 上服务的多模态 LLM 中获取文本/图像嵌入向量，方法基于 E5-V 等论文，用提示词让模型输出单词摘要并取最后解码层的 hidden state 作为嵌入。该插件通过兼容 OpenAI API 的 chat 接口暴露向量，请求设置 max_tokens=1 即可，普通对话与流式输出在同一服务器上不受影响；作者同时提交了希望合入 vLLM 的 PR #57185，并考虑将此流程移植到 llama.cpp。文中说明嵌入质量取决于模型、提示词和任务，专用嵌入模型可能更快更好；插件可用于本地 RAG、语义搜索、图文聚类或在向量上训练小分类器。