GitHub · 去对齐工具与仓库·· 4 天前精选AI 评分62
OMGBrews 开源 llmkit:基于 LiteLLM 的本地优先 LLM 调用层
OMGBrews/llmkit
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/OMGBrews/llmkit
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
OMGBrews 在 GitHub 发布 llmkit,一个构建在 LiteLLM(配合 instructor 做结构化输出)之上的本地优先薄封装层,为应用提供跨 OpenRouter、Google AI Studio、Anthropic、OpenAI、DeepSeek、Cerebras、AWS Bedrock 和本地 Ollama 的统一调用接口。核心特性包括经校验的 Pydantic 结构化输出、按提供商的限流(默认并发上限 8,支持自适应 AIMD 退避与可选熔断器)、面向编码 Agent 的 verdict-first YAML 日志与 index.jsonl 索引、默认开启的瞬时错误重试,以及可选的响应缓存;安装名为 omg-llmkit,导入名为 llmkit,要求 Python ≥ 3.12。
推荐理由
原文逐项说明了结构化输出校验、按提供商限流和面向 Agent 的日志设计,读者可以据此判断是否把它接进自己的调用层。
来源:GitHub · 去对齐工具与仓库 · github.com