GitHub · 去对齐工具与仓库·· 18 天前AI 评分37
Liviere 开源 inference-core:面向 LLM 应用的生产级 FastAPI + Celery 后端骨架
Liviere/inference-core
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Liviere/inference-core
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Liviere 在 GitHub 开源 inference-core,一个基于 FastAPI + Celery 的生产级 LLM 应用后端骨架。它支持 OpenAI、xAI、Gemini、Claude、Mistral、DeepInfra、Fireworks、Ollama 等提供商接入,提供同步、流式和原生批量三种请求模式,并内置 LangChain v1 Agents、LangGraph Agent Server、MCP 工具集成、Qdrant 向量存储、JWT 认证与 Sentry/Prometheus/Grafana 可观测性。目标是缩短从想法到生产级推理服务的距离,并内置成本与可靠性控制。
来源:GitHub · 去对齐工具与仓库 · github.com