跳到正文
GitHub · 灵魂体仓库·· 20 天前精选AI 评分66

NobodyWho 开源本地推理引擎,支持多平台离线运行 GGUF 模型

nobodywho-ooo/nobodywho

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/nobodywho-ooo/nobodywho

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

NobodyWho 发布了一个本地 LLM 推理引擎,可离线运行 GGUF 格式模型,无需 API key,提供 Kotlin、Swift、React Native、Flutter、Python 和 Godot 绑定。基于 llama.cpp 和 ONNX Runtime,支持 Vulkan/Metal GPU 加速、类型安全的工具调用、多模态输入、Kokoro 等语音合成、Whisper 语音识别和 Silero VAD;内存要求约为模型文件的 1.5 倍,推荐从 Qwen3 0.6B(约 330 MB)上手。项目还提供实现 OpenAI Chat Completions API 的实验性本地服务器,采用 EUPL-1.2 许可证,允许在专有项目中使用。

推荐理由

README 讲清了多平台绑定、内存要求与模型加载方式,想在各端本地跑 LLM 的开发者可以直接对照评估可行性。

来源:GitHub · 灵魂体仓库 · github.com