跳到正文
我的
GitHub · 去对齐工具与仓库·· 1 天前AI 评分36

ai-infrastructure-mcp-llm-gateway:四个独立 AI 基础设施服务仓库

x-string/ai-infrastructure-mcp-llm-gateway

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/x-string/ai-infrastructure-mcp-llm-gateway

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 仓库 x-string/ai-infrastructure-mcp-llm-gateway 汇集四个互不导入的独立服务:stdio MCP server(严格 Pydantic 输入校验)、MCP 安全网关(bearer-token 角色与工具级授权)、流式 LLM 网关(实时 PII 脱敏,脱敏器与上游客户端已完成)以及基于 SQLite 的 token 感知限流与主备故障切换模型路由(计划中)。LLM 网关侧模型路由主 provider 超时为 3,000 ms,限流超限返回 429 与 Retry-After。仓库要求 uv 与 Python 3.12,可用 uv run pytest 分任务运行测试。

来源:GitHub · 去对齐工具与仓库 · github.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。