GitHub · 3D 生成新仓库·· 11 天前精选AI 评分58
llama-runtime v0.4.1 发布：面向 llama.cpp 的 Python 推理与嵌入客户端库
Damel91/llama-runtime
来源与原文
GitHub · 3D 生成新仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Damel91/llama-runtime
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Damel91 发布 llama-runtime v0.4.1，一个面向 llama.cpp / llama-server HTTP 服务的 Python 库（发行名 runtime-llama），需 Python 3.11+，唯一运行时依赖为 requests。它为文本生成、流式输出、结构化对话、推理内容分离、工具调用与 MCP 数据契约、嵌入任务前缀与批量调度提供统一客户端 API，支持副本发现、并发准入与背压控制，采用 Apache-2.0 许可证。
推荐理由
为 llama.cpp 推理服务提供统一的 Python 客户端层，把流式输出、工具调用与嵌入批处理封装成可复用接口。
来源：GitHub · 3D 生成新仓库 · github.com