GitHub · 去对齐工具与仓库·· 4 天前精选AI 评分58
Toolify 中间件为不支持函数调用的 LLM 注入 OpenAI 兼容 function calling
xshell1994/toolify
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/xshell1994/toolify
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
xshell1994 在 GitHub 发布 Toolify,一个中间代理,向不支持函数调用的大语言模型或 OpenAI 接口注入 OpenAI 兼容的 function calling 能力。原理是拦截 chat/completions 请求、注入指导模型用 XML 格式输出函数调用的系统提示词,再从上游响应中解析并转换为标准 tool_calls 格式,支持单次响应多个函数调用、think 标签兼容、流式解析、按模型名路由多个上游服务、客户端鉴权、token 统计及解析失败自动重试(默认最多 3 次,可配 1-10 次),可用 Docker Compose 或 Python 3.8+ 部署,采用 GPL-3.0-or-later 许可。
推荐理由
原文给出中间代理的完整工作原理与配置方式,可按 Docker Compose 或 Python 直接部署给不支持函数调用的模型补上该能力。
来源:GitHub · 去对齐工具与仓库 · github.com