GitHub · 灵魂体仓库·· 5 天前AI 评分41
taixingbi 开源 adaptive-LLM-gateway：基于 Bedrock 的多租户 LLM 网关 MVP
taixingbi/adaptive-LLM-gateway
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/taixingbi/adaptive-LLM-gateway
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
taixingbi 在 GitHub 发布 adaptive-LLM-gateway 仓库，提供一个基于 AWS Bedrock 的中心化 LLM 网关 MVP，spoke 账户通过 IAM SigV4 调用，应用元数据存于 DynamoDB 而非每个应用一个 inference profile。网关在自身层面强制执行过载与多租户容量控制，支持 none、rpm、tpm、token-bucket、priority、slo-aware 及 adaptive-slo 等 admission policy，共享配额状态存于 ElastiCache。
来源：GitHub · 灵魂体仓库 · github.com