GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分73
GGLib 开源:把本地 GGUF 模型库变成 OpenAI 兼容的 API 提供方
mmogr/gglib
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/mmogr/gglib
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
mmogr 发布了开源工具 GGLib(GitHub:https://github.com/mmogr/gglib),它读取每个 GGUF 的元数据和聊天模板自动确定启动参数、工具调用格式和采样默认值,通过在 llama-server 与客户端之间运行智能代理,让整个本地 GGUF 库以 OpenAI 兼容端点(http://127.0.0.1:8080/v1)的形式供 Cline、Aider、Zed 等客户端使用。
推荐理由
README 写清了工具调用修复的实测数据和采样、上下文、KV cache 各层的处理方式,适合想本地跑智能体客户端的人参考。
来源:GitHub · 去对齐工具与仓库 · github.com