跳到正文
GitHub · 去对齐工具与仓库·· 2 天前精选AI 评分64

llm-token-gateway:本地网关用缓存加路由加预算闸门为 AI 编程客户端省钱

Chenry-123/llm-token-gateway

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Chenry-123/llm-token-gateway

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Chenry-123 开源了跑在本机的 LLM 网关 llm-token-gateway,夹在 Qoder、Claude Code 等客户端与模型厂商之间,提供缓存、模型路由、预算闸门与四段计费记账。实测 35 题×3 轮显示路由省 51.2%、路由加显式缓存省 55.0%,质量经 Wilcoxon 配对检验不显著;缓存仅对 qwen-flash 生效,qwen-plus-latest 不支持缓存。支持 anthropic→openai 协议转换、流式透传、MCP 查账工具与离线成本看板,仓库地址 https://github.com/Chenry-123/llm-token-gateway。

推荐理由

作者用日志实测了缓存、路由与预算闸门的省钱幅度,并附配对统计检验区分质量损失与噪声,方法可直接迁移。

来源:GitHub · 去对齐工具与仓库 · github.com