跳到正文
GitHub · 灵魂体仓库·· 17 天前精选AI 评分66

Guch1120开源iPhoneLocalAI:把iPhone变成本地多模态LLM推理服务器

Guch1120/Local_LLM_by_using_MobilePhone

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Guch1120/Local_LLM_by_using_MobilePhone

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub项目Guch1120/Local_LLM_by_using_MobilePhone发布,这是一个iOS应用,可将iPhone变成OpenAI兼容的本地推理服务器,供附近PC调用,推理数据留在设备上。项目基于LiteRT-LM v0.17.1和llama.cpp(Metal GPU后端),已在iPhone 16上验证Gemma 4 E2B文本推理,支持JPEG/PNG图像输入、USB端口转发、Hugging Face模型直接下载、诊断日志(最多500条、不记录提示词),并提供Ubuntu端辅助脚本和TestFlight部署流程。

推荐理由

原文给出了iPhone跑本地多模态模型的完整部署路径和实测机型,可作为在手机上搭OpenAI兼容推理API的可迁移方案。

来源:GitHub · 灵魂体仓库 · github.com