跳到正文
GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分62

llm-tools-gateway:给本地 LLM 注入服务端工具的 OpenAI 兼容代理

andrewrduncan/llm-tools-gateway

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/andrewrduncan/llm-tools-gateway

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

andrewrduncan 开源了 llm-tools-gateway,一个 OpenAI 兼容代理,位于模型服务器(vLLM、llama.cpp、Ollama、LM Studio、TGI 等)之前,向每个请求注入工具定义并在服务端执行,返回完成后的答案。支持网页搜索、抓取、无头浏览器、基于 pgvector 的记忆与 RAG、图像生成与编辑;每个工具可选且自禁用,仅配置 UPSTREAM_URL 也能获得日期时间和 URL 抓取。记忆按 subject 分区实现多用户隔离,慢工具通过 reasoning_content 流式输出进度。项目以 Apache-2.0 许可发布,仓库地址 https://github.com/andrewrduncan/llm-tools-gateway。

推荐理由

把工具执行从客户端移到网关端,一次配置即可让 Open WebUI、Aider 等所有 OpenAI 兼容客户端共享搜索、记忆和 RAG 能力。

来源:GitHub · 去对齐工具与仓库 · github.com