GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分65
hal0 v1.3.0 发布:把 Linux 主机变成 OpenAI 兼容的私有推理一体机
Hal0ai/hal0
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Hal0ai/hal0
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Hal0ai 发布 hal0 v1.3.0,通过一条 curl 安装命令把 Linux 主机(首选 Ryzen AI Max+ 395 加 128 GB 统一内存)变成 OpenAI 兼容的私有推理设备,在 :8080/v1 单一接口上提供 chat、completions、embeddings、rerank、转写、语音和图像生成。每个推理负载运行在独立的 podman 容器内,由 hal0-api 作为唯一控制面管理槽位状态机与请求分发;v1.3.0 为次版本更新,带来一项破坏性变更:配置了 admin key 且绑定非 loopback 地址时,机外调用者访问 ADMIN 级路由必须携带该 key。
推荐理由
原文给出安装流程、槽位架构和参考机上的实测吞吐数据,读者可以据此评估这套私有推理一体机方案是否适合自己的硬件。
来源:GitHub · 去对齐工具与仓库 · github.com