跳到正文
热点事件持续更新

ndom91 开源 llama-dash:本地 llama.cpp 推理网关面板

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

开发者 ndom91 在 GitHub 发布开源项目 llama-dash,把自托管的本地 llama.cpp 推理机变成带 UI 的可观测 AI 网关,项目以 MIT 许可发布。 llama-dash 当前推理后端为 llama-swap over llama.cpp,提供仪表盘、请求历史、API key、路由规则和 proxy 指标,作为 OpenAI 与 Anthropic 兼容客户端的唯一公共入口。它支持按 key 的 RPM/TPM 限流、模型访问控制、MCP relay 和 /metrics Prometheus 指标,并提供 AMD ROCm 与 NVIDIA CUDA 两套 Docker Compose 快速部署,可让 Claude Code 等客户端经其代理做日志、过滤和订阅透传。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. GitHub · 灵魂体仓库精选
    llama-dash 开源:把本地 llama.cpp 推理箱变成可观测的 AI 网关

    ndom91 发布开源项目 llama-dash,把自托管本地推理机变成带 UI 的可观测、可策略控制的 AI 网关,当前推理后端为 llama-swap over llama.cpp,提供仪表盘、请求历史、API key、路由规则和 proxy 指标。它是对 OpenAI 与 Anthropic 兼容客户端的唯一公共入口,支持按 key 的 RPM/TPM 限流、模型访问控制、MCP relay 和 /metrics Prometheus 指标,提供 AMD ROCm 与 NVIDIA CUDA 两套 Docker Compose 快速部署,可让 Claude Code 等客户端经其代理做日志、过滤和订阅透传。项目以 MIT 许可发布。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。