hertz-ai 开源 HART OS：把本地推理做成系统服务的 AI 原生操作系统

hertz-ai 在 GitHub 开源 HART OS，一个把本地推理作为系统服务提供的 AI 原生操作系统运行时，通过 llama.cpp 和 GGUF 权重支持 CUDA、ROCm、Metal、Vulkan 和纯 CPU，API 兼容 OpenAI 协议，监听 :6777/v1/chat/completions。