跳到正文
GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分73

GGLib 开源:把本地 GGUF 模型库变成 OpenAI 兼容的 API 提供方

mmogr/gglib

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/mmogr/gglib

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

mmogr 发布了开源工具 GGLib(GitHub:https://github.com/mmogr/gglib),它读取每个 GGUF 的元数据和聊天模板自动确定启动参数、工具调用格式和采样默认值,通过在 llama-server 与客户端之间运行智能代理,让整个本地 GGUF 库以 OpenAI 兼容端点(http://127.0.0.1:8080/v1)的形式供 Cline、Aider、Zed 等客户端使用。

推荐理由

README 写清了工具调用修复的实测数据和采样、上下文、KV cache 各层的处理方式,适合想本地跑智能体客户端的人参考。

来源:GitHub · 去对齐工具与仓库 · github.com