JarvisUSTC 开源 Awesome-Multimodal-RAG:多模态 RAG 资源合集
GitHub 仓库 JarvisUSTC/Awesome-Multimodal-RAG 整理了多模态检索增强生成(RAG)领域的最新论文、数据集与工具,涵盖文本、图像、视频、音频等多种模态。内容包括综述教程、通用与文档类多模态 RAG 论文、MMDocIR、SPIQA 等 benchmark,以及 Kiln 等工具框架,并持续接受社区贡献。
新闻、仓库与研究,按时间排列。
GitHub 仓库 JarvisUSTC/Awesome-Multimodal-RAG 整理了多模态检索增强生成(RAG)领域的最新论文、数据集与工具,涵盖文本、图像、视频、音频等多种模态。内容包括综述教程、通用与文档类多模态 RAG 论文、MMDocIR、SPIQA 等 benchmark,以及 Kiln 等工具框架,并持续接受社区贡献。
一位 SillyTavern 用户抱怨官方 Objective 插件不稳定:检查目标时机随意、不一定遵循目标、完成当前目标后也不推进到下一个。他想找类似工具来创建 AI 能逐步跟随的通用剧情线,而不是一次性赶完;Lorebooks 因需要关键词推送不符合需求。
mradermacher 在 Hugging Face 上发布 Minecraftism-4B-Thinking-Uncensored 的 GGUF static quants 量化模型。该模型未被任何 Inference Provider 部署,下载量暂未被追踪。
作者 /u/Tjalis 发布 SillyTavern 扩展 Mundi v0.2,把群聊变成受 The Sims 启发的生活模拟。新增 Home Mode 提供无工作账单的纯 RP 玩法,含三层楼十个卧室的现成住宅和自建房屋功能。Porto Alto 重制为 5 座城市,地点从 21 个增至 47 个、职业从 25 个增至 41 个,各城市有独立地图与气候。新增巴西葡萄牙语和西班牙语界面,需 SillyTavern 1.19+,约 30k token 上下文,GitHub 地址 https://github.com/tjalis/Mundi。中世纪世界和 RPG 模式推迟到未来更新。
推荐理由:作者本人详解 v0.2 的 Home Mode、地图扩展与安装方式,想给 SillyTavern 加生活模拟玩法的用户可直接上手。
GitHub 仓库 atanas1054/llm_wiki_knowledgebase 汇总了自动驾驶领域的 VLA 与扩散规划模型,包括 ReCogDrive(89.6 PDMS NAVSIM-v1)、Reasoning-VLA(91.7 PDMS)、DriveSuprim(93.5 PDMS)及 Drive-JEPA(93.3 PDMS)等数十个项目,涵盖 GRPO 强化学习、世界模型、masked diffusion 等方法,并标注各自在 NAVSIM、nuScenes、Bench2Drive 上的评测成绩。
Livesport 在 GitHub 开源 Homer(Apache 2.0),用于把 Claude Code、Codex、LangGraph 和 shell 脚本作为后台任务运行,提供队列、锁策略、LLM 花费上限和运行中人工问答。Agent 通过 agent.yaml 描述并可经 HTTP、cron 或 MCP 触发,支持 LangGraph 检查点恢复、OpenTelemetry 追踪、Kubernetes/ssh/拉取式 runner,以及带日志、成本和问题收件箱的 Web 控制台;Docker Compose 首次启动下载不足 1 GB 镜像。
推荐理由:Livesport 开源了自家 agent 编排工具,用真实 agent.yaml 和 LangGraph 示例讲清队列、锁、预算上限和人工介入的具体做法。
sharRahul 在 GitHub 发布 Raiker,一个安装在自己电脑上的单主人自主 AI Agent,以 Apache 2.0 协议开源,支持 Windows、macOS 和 Linux 桌面端。它整合 Chat、Build、Design 等模块,支持 Ollama、LM Studio、llama.cpp 等本地运行时及 Anthropic、OpenAI、Gemini、OpenRouter 等托管提供商,无云端账号,工作区数据库加密,所有受治理操作默认先询问;另提供 WSL2 和 VPS 部署方式,最低要求 4 GB 内存。
Codex 模型切换器 v2 发布,可在 Codex 桌面版与任意 OpenAI 兼容厂商之间一键切换,双击运行、不碰配置文件。相比 v1 只支持官方 GPT 与 DeepSeek 二选一,v2 改读 providers.json 清单,支持界面内新增、编辑、删除厂商,并增量改写 ~/.codex/config.toml、备份原配置且保留 MCP server 等自定义设置。工具要求 Windows 10/11 与 Python 3.8+;内置 DeepSeek、Kimi、通义千问、智谱 GLM、硅基流动、火山方舟、OpenRouter 等预设。
GitHub 仓库 devzl/topshelf-ai 收录人工精选的开源 AI 工具,按开发工具、Agent Skills 与框架、MCP 与 Agent 基础设施、本地 LLM 运行器、语音与视频生成等类别组织。收录项目包括可将 LLM token 消耗降低 60-90% 的 CLI 代理、支持 646 种语言的自托管语音平台,以及可从磁盘流式运行最高 2.8T 参数 MoE 模型的纯 C 推理引擎。
GitHub 上的 nextrole 项目提供 AI 求职服务:上传简历后由 Claude 对公司官网职位进行匹配评分,代码再校验每条判断,并集中追踪申请进度,已上线 nextrole.cloud。技术栈采用 .NET 10、React 19、MongoDB Atlas 向量搜索与 Claude Haiku 4.5 和 Sonnet 5,eval 集评分 22/24,含 545 项后端测试,许可证为 FSL-1.1-MIT。
GitHub 用户 ShubhiDixit09 开源了名为 kgl.llm 的仓库,目前含 docs、experiments、submissions 等目录,暂无项目描述。该仓库现获 1 star、0 fork,尚无 Releases 和 Packages。
作者 Mesut Güngör 在 GitHub 开源了 llm-scan,一个面向 Hugging Face、ModelScope 及本地模型的开源 LLM 安全扫描工具,采用零执行静态分析,覆盖 pickle 反序列化 RCE、trust_remote_code、Jinja2 SSTI(CVE-2024-34359)、SafeTensors 内存炸弹(CVE-2023-44469)等 42 条规则,并附 SHA-256 验证引擎。
推荐理由:作者开源的静态扫描工具在不执行模型代码的前提下检查权重、模板和配置,并给出与 OWASP、NIST 等框架的逐条映射。
Evershade 生态的 LLM 提供商抽象服务 Shrewd 开源,为 OpenAI、Anthropic、Google 和 Ollama 提供统一接口,支持模型路由、自动回退与负载均衡,并按服务追踪 token 用量与估算成本。项目默认端口 8089,支持通过 Ollama 本地运行模型,采用 MIT 许可证。
TransLLM 是一款 100% 直连、零追踪、自带 API Key(BYOK)的浏览器 AI 翻译扩展,支持 DeepSeek、OpenAI、Groq 及任意 OpenAI 兼容端点,还可离线接入本地 Ollama。它提供划词悬浮气泡和整页双语注入两种翻译模式,纯 JavaScript 实现体积小于 200KB,采用 Manifest V3 与 Shadow DOM 隔离,API Key 仅存于 chrome.storage.local。项目以 MIT License 开源,免费使用,只需支付 token 费用。
LukaG712 发布开源项目 Trapper,一个自托管的网页抓取与爬取 API,把网站转为干净的 LLM-ready 数据。支持单页抓取、递归爬取、批量抓取、URL 发现、搜索、浏览器会话交互、多页结构化提取与提示词驱动的研究 agent。技术栈为 Fastify、BullMQ(Redis)、Playwright、Cheerio 与 Turndown,提供 Docker Compose 一键部署、robots.txt 遵循、webhook、API key 鉴权、限流及 Prometheus 指标。仓库地址 https://github.com/LukaG712/Trapper,MIT 许可。
Mikko Parkkola 发布 MCP Gateway,一个单二进制 Rust 网关,把 MCP 服务器和 REST API 聚合在 9-17 个元工具的紧凑表面之后,通过 gateway_search_tools 和 gateway_invoke 按需发现并调用后端工具。每个 MCP 工具定义约耗 150 token,20 个服务器 100 个工具约 15,000 token;实测中元路径完成任务反而多用 1.2-16.1% 输入 token 并多一轮,价值在于目录容量、策略与路由。支持约 8ms 热重载、工具投毒校验、SHA-256 能力固定、多租户身份传播和 A2A 适配,内置 110+ 能力,采用 PolyForm Noncommercial 1.0.0 许可,商用需授权。
推荐理由:README 附带实测基准,说明网关省下的是目录容量而非完成任务时的 token,读者可据此判断是否值得引入。
FeozRu 在 GitHub 开源了 LLMBookTranslator,一款用 Kotlin 和 Compose Multiplatform 开发的 Windows/Linux 桌面应用,通过 LLM 智能体流水线翻译 EPUB/FB2 图书。流程为草稿翻译、文学润色、校对、组装,每阶段落盘可断点续作,内置术语表、翻译笔记库和块级原文对照校对界面,每步自动校验块数对齐、锚点与残留假名等。支持 OpenAI 兼容协议与 Anthropic Messages 协议(含 DeepSeek、GLM、Ollama、OpenRouter 等),提供 17 个 MCP 工具可让外部智能体自主翻译,MIT 许可,发布 MSI/deb/portable 包,项目由作者主导并借助 GLM 与 Claude 大量生成代码。
推荐理由:原文完整公开了多智能体翻译流水线的阶段划分、自动校验规则与文件结构,方法可迁移到自己的 LLM 翻译工作流。
GitHub 上的 knowledge-management-wiki-starter 发布 v1.1.0-rc.3 公开预览版,采用 MIT 许可。它用本地 Markdown 保存原始材料(Raw)与确认后的知识页(Wiki),通过问题卡(Seed)追踪未解决问题,需搭配支持项目规则的 Codex 使用,Obsidian 可选。重要写入需经审批台确认,真实文件默认由 .gitignore 忽略。
GitHub 开源了 llm-d 工作负载交互模拟器 llm-d-simul,让开发者在部署前对比基础负载均衡与 llm-d 路由的性能。性能估算来自 BLIS,支持 Llama 3.1 8B Instruct、Qwen 2.5 7B Instruct、Qwen3 14B 搭配 NVIDIA A100 80GB/H100/H200 共九种组合,可选 chat、摘要、代码生成、多轮 Agent 四类工作负载。本地运行需 Node.js 22.12+、Python 3.9+,支持 prefill/decode 分池、InfiniBand 400 Gb/s 等网络设置,无需 GPU 或下载模型权重。
Two Much Labs 发布 reversibility-classes(spec v0.2 草案、rclass 0.3),定义 R0 到 R4 五级可恢复性分类,并开放覆盖 20 个 MCP 服务器、536 个工具的带证据链接登记表。rclass scan 可扫描 Claude Desktop、Claude Code、Cursor、VS Code 或 Windsurf 的本地 MCP 配置,按最坏参数情形分级,未识别服务器一律计为 R4;项目还提供网关接入示例、preimage 覆盖等部署级降级机制、46 个一致性测试向量和 CI 用的 --list 模式。
推荐理由:作者提出按可恢复性而非严重性给 Agent 工具分级,并给出可复用的扫描器和 536 个工具的开放登记表,方法可直接移植到自己的网关。
niuwoai 发布自托管 AI 编码智能体 WillDeep(willdeep-cli,Apache 2.0),支持 OpenAI 兼容与 Anthropic 线格式端点,模型可留在本地机房。核心特性包括每行改动精确到哪个 Agent 和工具调用的 Diff 归属、子 Agent 任务由 Runtime 执行退出码裁决、五道命令审批闸门加 OS 级围栏、常驻 Daemon 使任务在关终端后继续运行,提供终端 TUI、浏览器和手机三种界面。靶场数据显示 glm-5 在 16 个样本上 Verified Success 100%,但线上派工快照样本很少,累计 11 次子 Agent 运行中 Verified Success 仅 0%(0/2)。
推荐理由:开源的自托管编码 Agent,核心卖点是改动可逐行追责和小模型任务用退出码裁决,适合关注私有化部署的读者参考其审计与闸门设计。
开源项目 LLMstats 通过 GitHub Actions 约每 3 小时自动对 42 个免费额度模型跑基准测试,覆盖 OpenRouter 13 个、Groq 5 个和 Mistral 24 个模型,结果发布到交互式公开仪表盘。架构 fork 自 NIMStats,无需服务器,只需配置三个 API 密钥并开启 GitHub Pages,5 分钟内即可搭建;数据以 SQLite 存储在仓库中,浏览器端经 sql.js 完全客户端查询。
calm-sea-psy 的 llm-playground-wiki 是一个韩语维基百科 QA 产品,解析并精炼维基 dump 建立检索引擎,提供 /search 搜索接口和基于维基依据、以 SSE 流式返回答案的 /ask 聊天机器人。检索采用 BM25(Kiwi) 与 Dense(Qdrant) 混合加 reranker,答案由 Ollama 生成,并依据 reranker 分数在 grounded、partial、refuse 三档间选择回答策略,Python 3.13、uv 和 Docker 部署。
theartificialteam 团队开源其 RSNA 膝关节异常检测竞赛的完整代码与知识库,该竞赛要求预测 12 项膝关节 MRI 发现,指标为 12 项平均 ROC AUC,队伍最终 private rank 约 1,730/6,425,private 0.942。仓库包含 ConvNeXt multi-view MIL 模型、Raptor CoAtNet-384 训练推理代码、预处理与 blend 流水线及实验日志。团队总结:优胜者的优势在于用多模态 LLM 从图像读取标签(gold 0.94–0.956,对比来自报告的约 0.90),而静默失败是其代价最高的 bug——首次提交仅得 0.500 且无任何报错。
MithrilBytes 发布 overwater,一个扫描代码库找出过大或过贵 LLM 调用点的工具,按公开模型目录给出每月美元计的更便宜候选,如将 claude-opus-5 调用替换为 claude-haiku-4-5 从约 $91/mo 降到 $18/mo。每条发现附带 tripwire 条件并可用 eval 生成 A/B 验证脚本;CI 通过基线只拦截新增发现。扫描器不传输代码、不调用模型 API,目录快照内嵌于二进制,可离线运行,支持 macOS/Linux/Windows,MIT 许可,v2.9.13 可用 go install 安装。
guregodevo 发布 janis,一个用 Go 编写的开源权重模型本地推理模块,定位为 MLX 版 Ollama:Apple Silicon 上跑 MLX 后端,其他平台用纯 Go CPU 后端。janis serve 提供 OpenAI 兼容端点(http://127.0.0.1:8090/v1),支持流式 chat completions、tool calls、运行时切换已加载模型,权重从 huggingface.co/mlx-community 拉取,支持 Qwen3、Qwen3.5、Gemma 系列,另含 whisper、bge、reranker 和约束解码等组件。它也是终端编码 agent Memdoor 的底层模块。
推荐理由:作者用单个 Go 模块把 MLX 推理和 OpenAI 兼容服务封装到一起,说明了本地部署的工程取舍与用法。
GitHub 开源项目 ai-learning-roadmap 是一份带引用来源的 AI 工程学习路线图,基于 Next.js 16.4、React 19 和 TypeScript 5 构建的静态站点,托管在 GitHub Pages。内容分 14 个部分,覆盖 LLM 基础、提示词工程、RAG、智能体、推理到 AI 应用架构,每部分提供技术版、通俗版和孟加拉语三种讲解,并附十个可视化互动学习资源。每个主题支持构建时 Zod 4 校验和浏览器内 MiniSearch 搜索。
GitHub 仓库 trasher88/ml-engineering-lab 是一个覆盖数据准备、分类、检索、RAG、LLM 微调与部署的教学项目,分为 F1–F5 五个阶段共 43 个学习步骤。本地实验记录显示:经典 ML(TF-IDF + Logistic Regression)Test macro F1 为 0.8838,优于 PyTorch 分类器的 0.7813;向量检索 Recall@5 达 0.8500,高于 hybrid 的 0.5500;SFT tiny LLM 未带来提升。项目有意保留负结果与局限,数据采用 CC BY-NC-SA 4.0,暂未提供开源许可证。
arrow1031 维护的 dsh-qq-bot 插件更新到 0.10.x,把协议层拆为 lib/bridge 与 lib/adapters,一套插件接 OneBot 11/12、Satori、Milky、QQ 官方机器人五种协议。要求 DSH ≥ 0.1.7,0.2.1-rc.3 已实测适配;插件带 8 个 Agent 工具、三路权限与访客工具闸,共 628 项测试全部通过,MIT 许可,安装跟随 main 不再锁 tag。
推荐理由:README 把架构、协议适配和全部测试用例写得很细,想给 DSH 接 QQ 机器人可以直接照着部署。
GitHub 上的 agentdynarq/ai-radar 项目通过每日定时 GitHub Action 抓取 arXiv(cs.AI、cs.CL、cs.LG)最新论文和 Hugging Face Hub 最新模型,生成带日期的 markdown 摘要并存档。项目纯用 Python 标准库实现,无需 API key、服务器或依赖,属 Dynarq 的一部分,采用 MIT 许可证。
作者发布 pi-vcc,为 Pi 编程智能体提供不调用LLM的算法式会话压缩,靠提取与格式化生成摘要。与 Pi 默认方案相比,中位体积缩减97.6%,压缩延迟中位1ms,成本为零,输出确定性一致;基于1884个真实会话实测。压缩后的历史可通过 vcc_recall 按关键词或正则搜索回原始会话文件,摘要按最多6个分段加简要转写组织,多次压缩时分段合并并重新封顶。安装方式为 pi install npm:@sting8k/pi-vcc 或从 GitHub 安装,MIT 许可。
推荐理由:作者用1884个真实会话给出压缩率与延迟的量化对比,读者可据此评估这套无LLM的上下文压缩方案是否值得装。
GitHub 开源项目 Sentinel 是一个为 LLM 编码工具打造的防御性安全扫描插件,提供 MCP server 和独立 CLI,含 335 个测试,MIT 协议发布。当前版本尚无漏洞检测层,只能做仓库画像(语言、框架、授权面等)并从 2 个 pack、13 条技术的注册表中筛选适用技术,输出 markdown 与 SARIF 2.1.0 报告,且每份报告都明确声明哪些代码未被检查。工具强制范围与授权校验:仅扫描本地或你有权访问的 GitHub 仓库,只读不写入,需逐目标输入确认;项目还公开了自身 105 个待修复问题的 backlog,下一步将开发检测层。
微软开源了 DebugMCP,一个让 AI 编码智能体接管 VS Code 调试器的 MCP 服务器,可自主设断点、逐行单步、检查变量和求值表达式,兼容 Claude Code、Cursor、Codex、GitHub Copilot 等 MCP 助手。支持 Python、JS/TS、Java、C/C++、Go、Rust 等 VS Code 调试语言,100% 本地运行,默认绑定 127.0.0.1 并带凭据脱敏。2.4 版新增独立 DebugMCP CLI,可经 npm 安装并直连显式配置的 DAP 适配器,无需 VS Code。
GitHub 开源项目 grassmoth 是一个面向纵向数据端到端贝叶斯因果推断的 LLM harness,目标是基于医疗记录、聊天记录等数字痕迹数据集辅助个体层面的最优决策。系统采用连续-离散非线性状态空间模型,由 agent 通过 edit_question、edit_model、fit、simulate 等七个公开动作完成研究,兼容 codex 与 claude-code,用 jax 在 GPU 上做并行时间粒子平滑实现分钟级精确推断。其设计面向 Apple Health、Oura、23andMe、Google Takeout、ChatGPT/Claude 日志等可通过 DSAR 获取的数据集。
GitHub 上一个名为 JSON-Agent 的小型脚本,可让 LLM 始终返回有效且带类型(typed)的结构化数据。项目采用 MIT 许可证开源,仓库包含 structured.py 及配套测试文件,目前尚无 star、fork 或 release。
fengxingxuerong 在 GitHub 发布 QuAiWei v0.9.76,一个中文 AI 文本去味工具,本地引擎离线零成本运行,可接 OpenAI 兼容 LLM 和朱雀等外部检测器做闭环验证,提供 Web、Electron 桌面、CLI 与 agent skill 多种形态。作者诚实声明内置评分与官方分无标定关系、凭证覆盖率 0/18,并给出真人文本 aiScore 中位 35 等实测数据,提醒不要用内置降幅判断安全性。
/u/Inside-Pen-8395 在 24GB M5 MacBook Air 上以 Splash 1.4.0 的约 800 行 fork 运行 Qwen3.8-Flash-Next Q2 量化,24,576 个专家槽位中约 6,800 个驻留 ~8.8 GB 内存,其余从 SSD 按需流式读取,支持 256K 上下文,解码平均 48.8 t/s(stock 为 28.8)。
推荐理由:作者实测了 Qwen3.8-Flash-Next 在 24GB 内存下的 SSD 专家流式方案,给出解码速度、预填充和 LiveCodeBench 对照数据。
一位 Character.AI Plus 用户发现平台除 €9,99 的 cai+ 外还存在多个订阅层级。该用户表示没看到任何官方公告,若非他人指出根本不会注意到,认为官方应发布公告以吸引更多付费用户。
l666A 基于 Qwen/Qwen-Image-2.1 上游权重发布 Uncensored 量化版本,提供 GGUF、Safetensors 和 MLX 格式用于本地图像生成,Q4_K_M(4.60 GB)为推荐的 GGUF 量化方案。该版本不含内置安全检查器,可直接生成成人、NSFW 及敏感图像,支持 ComfyUI 与 ComfyUI-GGUF,文本编码器卸载到系统内存可节省 9–17 GB 显存。
Hugging Face 用户 mradermacher 上传了 Minecraftism-4B-Uncensored 模型的 GGUF static quants 量化版本。该模型暂无下载量统计,也未被任何 Inference Provider 部署,用户可申请提供推理支持。