跳到正文
GitHub · 去对齐工具与仓库·· 20 天前AI 评分52

Prometheus 开源本地推理平台:llama.cpp 加安全 API 网关

Root1V/prometheus-inference-platform

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Root1V/prometheus-inference-platform

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Root1V 在 GitHub 开源 Prometheus 推理平台,用 llama.cpp 在本地硬件运行量化开源模型,并通过带认证、授权、限流和用量计量的安全网关向容器化应用提供推理服务。平台支持 OAuth2 client_credentials 流程与按角色的短时效 JWT(app 5 分钟、agent 10 分钟、cognitive 1 小时、admin 3 小时),网关 API 兼容 OpenAI Chat Completions 格式;v1.4.0(2026-09-10)加入 sd.cpp 图像生成、Hugging Face 模型下载、Playground、按客户端计费与熔断限流,v1.3.0 支持 llama.cpp/MLX/vLLM/SGLang 多后端。

来源:GitHub · 去对齐工具与仓库 · github.com