跳到正文
GitHub · 灵魂体仓库·· 18 天前精选AI 评分66

llmctl 发布:Go 编写的单文件本地多 LLM 网关管理器

adghrera/llmctl

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/adghrera/llmctl

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

adghrera 在 GitHub 发布 llmctl,一个用纯 Go 标准库编写的单二进制管理器,可把 llama.cpp、vLLM、Ollama、LM Studio 等多个推理后端统一挂在同一个 OpenAI 兼容 API 端点之后,面向高并发流量设计。单静态二进制约 10 MB,采用 goroutine-per-connection 和零缓冲 SSE 流式转发,内置认证、令牌桶限流与全局并发上限;go test 含 100 并发流式客户端压测及对真实 1.5B 模型的 8 路同时推理检查,README 提供安装与快速上手命令。

推荐理由

原文给出了架构选择理由、压测数据和完整命令清单,想自建多后端本地 LLM 网关的读者可直接照着部署。

来源:GitHub · 灵魂体仓库 · github.com