GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分62
llm-tools-gateway:给本地 LLM 注入服务端工具的 OpenAI 兼容代理
andrewrduncan/llm-tools-gateway
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/andrewrduncan/llm-tools-gateway
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
andrewrduncan 开源了 llm-tools-gateway,一个 OpenAI 兼容代理,位于模型服务器(vLLM、llama.cpp、Ollama、LM Studio、TGI 等)之前,向每个请求注入工具定义并在服务端执行,返回完成后的答案。支持网页搜索、抓取、无头浏览器、基于 pgvector 的记忆与 RAG、图像生成与编辑;每个工具可选且自禁用,仅配置 UPSTREAM_URL 也能获得日期时间和 URL 抓取。记忆按 subject 分区实现多用户隔离,慢工具通过 reasoning_content 流式输出进度。项目以 Apache-2.0 许可发布,仓库地址 https://github.com/andrewrduncan/llm-tools-gateway。
推荐理由
把工具执行从客户端移到网关端,一次配置即可让 Open WebUI、Aider 等所有 OpenAI 兼容客户端共享搜索、记忆和 RAG 能力。
来源:GitHub · 去对齐工具与仓库 · github.com