GitHub · 去对齐工具与仓库·· 1 天前AI 评分36
ai-infrastructure-mcp-llm-gateway:四个独立 AI 基础设施服务仓库
x-string/ai-infrastructure-mcp-llm-gateway
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/x-string/ai-infrastructure-mcp-llm-gateway
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 仓库 x-string/ai-infrastructure-mcp-llm-gateway 汇集四个互不导入的独立服务:stdio MCP server(严格 Pydantic 输入校验)、MCP 安全网关(bearer-token 角色与工具级授权)、流式 LLM 网关(实时 PII 脱敏,脱敏器与上游客户端已完成)以及基于 SQLite 的 token 感知限流与主备故障切换模型路由(计划中)。LLM 网关侧模型路由主 provider 超时为 3,000 ms,限流超限返回 429 与 Retry-After。仓库要求 uv 与 Python 3.12,可用 uv run pytest 分任务运行测试。
来源:GitHub · 去对齐工具与仓库 · github.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。