GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分65
Eugene Plexus v0.1.0 发布:本地 LLM 推理自托管控制面
eugene-plexus/specs
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/eugene-plexus/specs
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Eugene Plexus 发布 v0.1.0,这是一个自托管的本地 LLM 推理控制面,可安装、更新并监督 llama.cpp、vLLM 和 MLX 推理引擎,管理本地模型库,并暴露 OpenAI 兼容与 Anthropic Messages 端点。该版本以 OpenAPI 3.1 契约定义六个组件(agent、control、gateway、inference-driver、library、ui)间的接口,消费者通过固定 SHA 的 codegen 依赖契约。原文列出了真实硬件上的验证项(副本均衡、故障转移、空闲卸载、工具调用、双机多主机部署等)与已知缺陷,包括登录限流器可被请求头驱动的预认证缺陷、AMD/Intel GPU 的 Windows 机器被误判为无 GPU、一键运行路径的量化适配数值可能偏小等。
推荐理由
原文给出实测硬件验证清单、已知缺陷和未验证项,读者可据此判断这个本地推理控制面当前能做什么、不能做什么。
来源:GitHub · 去对齐工具与仓库 · github.com