MultiModelRag 开源多模态 RAG 系统，文本与图像共享 CLIP 检索空间

aryan9-6-5 在 GitHub 发布 MultiModelRag，一个用 OpenCLIP 共享嵌入空间跨文本和图像检索证据、经跨模态重排后由本地 LLM 生成有据答案的多模态 RAG 系统，全部基于免费开源组件，无需付费 API。架构含 FAISS 向量检索、DuckDB 元数据溯源、FastAPI 与 Streamlit 界面，默认模型为 OpenCLIP ViT-B-32、BLIP-base 与 Llama 3.2 3B，最低 CPU 加 8GB 内存即可运行。在 COCO 200 图子集上，基线检索 MRR 0.849、延迟 27.3ms，完整管线生成成功率 100%、引用率 80%、平均延迟 14.7s；作者也说明重排器是手工加权线性组合，消融显示其指标略低于原始 FAISS 排序。