GitHub · 灵魂体仓库·· 2 小时前精选AI 评分65
llama-dash 开源：把本地 llama.cpp 推理箱变成可观测的 AI 网关
ndom91/llama-dash
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/ndom91/llama-dash
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
ndom91 发布开源项目 llama-dash，把自托管本地推理机变成带 UI 的可观测、可策略控制的 AI 网关，当前推理后端为 llama-swap over llama.cpp，提供仪表盘、请求历史、API key、路由规则和 proxy 指标。它是对 OpenAI 与 Anthropic 兼容客户端的唯一公共入口，支持按 key 的 RPM/TPM 限流、模型访问控制、MCP relay 和 /metrics Prometheus 指标，提供 AMD ROCm 与 NVIDIA CUDA 两套 Docker Compose 快速部署，可让 Claude Code 等客户端经其代理做日志、过滤和订阅透传。项目以 MIT 许可发布。
推荐理由
本地推理网关项目给出了认证、路由、限流、请求审计和 GPU 监控的完整实现细节，适合自托管 llama.cpp 的读者参考部署。
来源：GitHub · 灵魂体仓库 · github.com