跳到正文
GitHub · 去对齐工具与仓库·· 20 天前AI 评分40

MixInfer V0.2 发布:可嵌入的模块化 LLM 网关与推理基础设施

RezerOfgit/mixinfer

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/RezerOfgit/mixinfer

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

开源项目 MixInfer 发布 V0.2,定位为可嵌入、可扩展的大模型统一接入与治理基础设施,采用 provider-neutral 语义 IR,使入站协议、上游与出站格式相互独立。V0.2 提供端到端 SSE 流式传输、客户端断连时的上游取消、usage settlement 状态机及 requestId 传播,兼容任意 OpenAI-compatible 上游(如 OpenAI、DeepSeek、vLLM)。V0.3 将做多端点加权路由、fallback 与 retry,项目基于 JDK 17+,采用 MIT 许可证。

来源:GitHub · 去对齐工具与仓库 · github.com