跳到正文
GitHub · 去对齐工具与仓库·· 18 天前AI 评分37

Liviere 开源 inference-core:面向 LLM 应用的生产级 FastAPI + Celery 后端骨架

Liviere/inference-core

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Liviere/inference-core

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Liviere 在 GitHub 开源 inference-core,一个基于 FastAPI + Celery 的生产级 LLM 应用后端骨架。它支持 OpenAI、xAI、Gemini、Claude、Mistral、DeepInfra、Fireworks、Ollama 等提供商接入,提供同步、流式和原生批量三种请求模式,并内置 LangChain v1 Agents、LangGraph Agent Server、MCP 工具集成、Qdrant 向量存储、JWT 认证与 Sentry/Prometheus/Grafana 可观测性。目标是缩短从想法到生产级推理服务的距离,并内置成本与可靠性控制。

来源:GitHub · 去对齐工具与仓库 · github.com