GitHub · 去对齐工具与仓库·· 21 分钟前精选AI 评分55
Tamias 发布本地代理:把多家模型供应商统一到一个 OpenAI 兼容端点并按成本路由
kr1shnac/tamias
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/kr1shnac/tamias
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Tamias 是一个本地代理,把用户已有的各家供应商密钥统一到一个 OpenAI 兼容端点,按能力闸门筛选后优先路由到最便宜的可胜任模型,并在 429、404、5xx 时冷却该模型、在同一请求内切换到下一个候选。它以 PyPI 包 tamias 发布,要求 Python 3.11 或更高,请求日志写入本地 SQLite,不存储提示词与响应文本,密钥始终留在环境变量或密钥管理器中。作者称 1.0 的命令行、配置格式与三道路由闸门是稳定接口,节省金额为按价格表与 token 计算的估算值,供应商账单才是唯一依据。
推荐理由
原文给出了路由三道闸门、故障转移与预算上限的具体规则,读者可据此判断这个本地代理在省钱与可靠性上的实际边界。
来源:GitHub · 去对齐工具与仓库 · github.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。