GitHub · 灵魂体仓库·· 6 天前AI 评分49
minunglee/spring-llm-gateway:用 Spring Boot 保护 Claude API 公开演示的网关项目
minunglee/spring-llm-gateway
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/minunglee/spring-llm-gateway
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
开发者 minunglee 在 GitHub 开源 spring-llm-gateway,一个用 Spring Boot(Java 21 虚拟线程)搭建的网关,保护公开 AI 演示中的 Claude API 不因脚本滥用、故障导致费用失控。系统用 Redis Lua 脚本原子化限流与预算预扣再按实际用量结算,配合 Cloudflare Turnstile 人机验证;压测显示吞吐从 91 条/秒升至 190 条/秒,p95 从 5.16s 降至 2.19s,预算利用率从 17.5% 提升到 92%,超限 0 次。项目在 vCPU 4、RAM 2GB 的服务器上运行,默认假响应模式可零成本启动。
来源:GitHub · 灵魂体仓库 · github.com