GitHub · 去对齐工具与仓库·· 18 天前精选AI 评分59
PocketLLM 发布 v0.3.0：在 Android 上本地运行 GGUF 模型并提供 OpenAI 兼容 API
Kimi-syl/PocketLLM
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Kimi-syl/PocketLLM
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
PocketLLM 项目通过 JNI/NDK 调用 llama.cpp 并支持 Vulkan GPU 卸载，在 Android 上本地运行 GGUF 模型，暴露 OpenAI 兼容 API 供本机和局域网客户端使用。v0.3.0 新增基于 GBNF 语法约束的 Agent 工具调用，保证小模型输出的工具调用格式合法，并提供共享同一核心引擎的桌面 JVM CLI（chat/serve/agent）。项目还内置 Hugging Face 模型下载、断点续传、聊天界面与 API key 管理；已知限制包括单模型串行推理、当前仅打包 arm64-v8a，且小于 500M 的模型参数内容质量较差。
推荐理由
开源项目直接在 Android 上用 llama.cpp 跑 GGUF 并提供 OpenAI 兼容 API，还给出采样时 GBNF 约束小模型工具调用格式的做法。
来源：GitHub · 去对齐工具与仓库 · github.com