GitHub · 去对齐工具与仓库·· 20 天前AI 评分26
shamarta 开源 llm-inference-gateway：面向 vLLM/Ollama 的 OpenAI 兼容网关
shamarta/llm-inference-gateway
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/shamarta/llm-inference-gateway
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
shamarta 在 GitHub 发布 llm-inference-gateway，一个位于 vLLM、Ollama 等 LLM 推理引擎之前的异步 OpenAI 兼容网关，目前仍在开发中。规划功能包括 OpenAI 兼容的 POST /v1/chat/completions 接口、基于 sentence-transformers 与 Qdrant、余弦阈值 0.90 的语义缓存，以及基于 asyncio.Queue 的动态批处理，另将提供 Prometheus 指标、Docker Compose 和 GitHub Actions CI。项目采用 MIT 许可证，完整文档、架构图和 benchmark 将随项目完成陆续补充。
来源：GitHub · 去对齐工具与仓库 · github.com