GitHub · 灵魂体仓库·· 16 天前精选AI 评分57
berth-ai:手机本地运行 GGUF 模型并暴露 OpenAI 兼容接口的开源应用
arthurbm/berth-ai
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/arthurbm/berth-ai
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
arthurbm 在 GitHub 发布 berth-ai,一个 local-first 移动应用,可在设备上下载并运行 GGUF 模型,通过 llama.rn 与 @react-native-ai/llama 做本地推理和持久化聊天,并把手机暴露为 OpenAI 兼容的 HTTP 推理端点,主契约是 /v1/responses,兼容 /v1/chat/completions。HTTP provider 目前仅 Android 可用,iOS 上本地聊天可用但 provider 仍为实验性;/v1/* 需 bearer token,应用依赖原生模块,不能在 Expo Go 中运行。
推荐理由
项目把手机做成可复用的本地推理端点而非单纯聊天应用,这种以 provider 为核心的架构思路对做本地部署的人有参考。
来源:GitHub · 灵魂体仓库 · github.com