ndom91 开源 llama-dash:本地 llama.cpp 推理网关面板
热点事件持续更新
ndom91 开源 llama-dash:本地 llama.cpp 推理网关面板
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
开发者 ndom91 在 GitHub 发布开源项目 llama-dash,把自托管的本地 llama.cpp 推理机变成带 UI 的可观测 AI 网关,项目以 MIT 许可发布。 llama-dash 当前推理后端为 llama-swap over llama.cpp,提供仪表盘、请求历史、API key、路由规则和 proxy 指标,作为 OpenAI 与 Anthropic 兼容客户端的唯一公共入口。它支持按 key 的 RPM/TPM 限流、模型访问控制、MCP relay 和 /metrics Prometheus 指标,并提供 AMD ROCm 与 NVIDIA CUDA 两套 Docker Compose 快速部署,可让 Claude Code 等客户端经其代理做日志、过滤和订阅透传。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 19:33
llama-dash 开源:把本地 llama.cpp 推理箱变成可观测的 AI 网关报道时间线
沿着报道,了解事件的不同侧面。
10月27日
- GitHub · 灵魂体仓库精选llama-dash 开源:把本地 llama.cpp 推理箱变成可观测的 AI 网关
ndom91 发布开源项目 llama-dash,把自托管本地推理机变成带 UI 的可观测、可策略控制的 AI 网关,当前推理后端为 llama-swap over llama.cpp,提供仪表盘、请求历史、API key、路由规则和 proxy 指标。它是对 OpenAI 与 Anthropic 兼容客户端的唯一公共入口,支持按 key 的 RPM/TPM 限流、模型访问控制、MCP relay 和 /metrics Prometheus 指标,提供 AMD ROCm 与 NVIDIA CUDA 两套 Docker Compose 快速部署,可让 Claude Code 等客户端经其代理做日志、过滤和订阅透传。项目以 MIT 许可发布。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。