跳到正文
GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分65

hal0 v1.3.0 发布:把 Linux 主机变成 OpenAI 兼容的私有推理一体机

Hal0ai/hal0

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Hal0ai/hal0

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Hal0ai 发布 hal0 v1.3.0,通过一条 curl 安装命令把 Linux 主机(首选 Ryzen AI Max+ 395 加 128 GB 统一内存)变成 OpenAI 兼容的私有推理设备,在 :8080/v1 单一接口上提供 chat、completions、embeddings、rerank、转写、语音和图像生成。每个推理负载运行在独立的 podman 容器内,由 hal0-api 作为唯一控制面管理槽位状态机与请求分发;v1.3.0 为次版本更新,带来一项破坏性变更:配置了 admin key 且绑定非 loopback 地址时,机外调用者访问 ADMIN 级路由必须携带该 key。

推荐理由

原文给出安装流程、槽位架构和参考机上的实测吞吐数据,读者可以据此评估这套私有推理一体机方案是否适合自己的硬件。

来源:GitHub · 去对齐工具与仓库 · github.com