GitHub · 去对齐工具与仓库·· 20 天前AI 评分40
MixInfer V0.2 发布:可嵌入的模块化 LLM 网关与推理基础设施
RezerOfgit/mixinfer
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/RezerOfgit/mixinfer
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
开源项目 MixInfer 发布 V0.2,定位为可嵌入、可扩展的大模型统一接入与治理基础设施,采用 provider-neutral 语义 IR,使入站协议、上游与出站格式相互独立。V0.2 提供端到端 SSE 流式传输、客户端断连时的上游取消、usage settlement 状态机及 requestId 传播,兼容任意 OpenAI-compatible 上游(如 OpenAI、DeepSeek、vLLM)。V0.3 将做多端点加权路由、fallback 与 retry,项目基于 JDK 17+,采用 MIT 许可证。
来源:GitHub · 去对齐工具与仓库 · github.com