跳到正文
GitHub · 灵魂体仓库·· 16 天前精选AI 评分57

berth-ai:手机本地运行 GGUF 模型并暴露 OpenAI 兼容接口的开源应用

arthurbm/berth-ai

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/arthurbm/berth-ai

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

arthurbm 在 GitHub 发布 berth-ai,一个 local-first 移动应用,可在设备上下载并运行 GGUF 模型,通过 llama.rn 与 @react-native-ai/llama 做本地推理和持久化聊天,并把手机暴露为 OpenAI 兼容的 HTTP 推理端点,主契约是 /v1/responses,兼容 /v1/chat/completions。HTTP provider 目前仅 Android 可用,iOS 上本地聊天可用但 provider 仍为实验性;/v1/* 需 bearer token,应用依赖原生模块,不能在 Expo Go 中运行。

推荐理由

项目把手机做成可复用的本地推理端点而非单纯聊天应用,这种以 provider 为核心的架构思路对做本地部署的人有参考。

来源:GitHub · 灵魂体仓库 · github.com