GitHub · 去对齐工具与仓库·· 2 天前精选AI 评分64
llm-token-gateway:本地网关用缓存加路由加预算闸门为 AI 编程客户端省钱
Chenry-123/llm-token-gateway
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Chenry-123/llm-token-gateway
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Chenry-123 开源了跑在本机的 LLM 网关 llm-token-gateway,夹在 Qoder、Claude Code 等客户端与模型厂商之间,提供缓存、模型路由、预算闸门与四段计费记账。实测 35 题×3 轮显示路由省 51.2%、路由加显式缓存省 55.0%,质量经 Wilcoxon 配对检验不显著;缓存仅对 qwen-flash 生效,qwen-plus-latest 不支持缓存。支持 anthropic→openai 协议转换、流式透传、MCP 查账工具与离线成本看板,仓库地址 https://github.com/Chenry-123/llm-token-gateway。
推荐理由
作者用日志实测了缓存、路由与预算闸门的省钱幅度,并附配对统计检验区分质量损失与噪声,方法可直接迁移。
来源:GitHub · 去对齐工具与仓库 · github.com