GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分65
自托管 LLM 网关 llmtrak 开源：虚拟密钥、成本核算与路由，附带与 LiteLLM 的性能对比
rustrak/llmtrak
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/rustrak/llmtrak
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 项目 rustrak/llmtrak 发布了一个 Rust 编写的轻量自托管 LLM 网关，可将任何 OpenAI SDK 指向它，通过团队虚拟密钥统计每人花费，支持 OpenAI、Anthropic、Azure、Gemini、Groq、Mistral、DeepSeek、OpenRouter、Ollama 等 API 方言互译，提供带权重、重试、冷却与回退的路由，密钥哈希存储，预算按日/周/月重置，内置 Management API 与每日价格表计费。
推荐理由
原文附上了与 LiteLLM 同条件容器的延迟和内存实测对比，读者可以据此评估这个自托管网关的实际开销。
来源：GitHub · 去对齐工具与仓库 · github.com