跳到正文
GitHub · 去对齐工具与仓库·· 3 天前同新闻AI 评分62

tensai-app 开源 llama.kt:Android 端 Kotlin 绑定 llama.cpp 本地推理

tensai-app/llama.kt

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/tensai-app/llama.kt

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

tensai-app 发布 llama.kt,为 llama.cpp 提供 Kotlin/Android JNI 绑定,可加载任意 GGUF 模型在设备端推理,无需服务器或云端。原生 C++ 引擎提取自 llama.rn 并剥离 RN 层,已在 OPPO / Dimensity 900 上验证,Qwen2.5-0.5B(q4_K_M)CPU 生成约 20 tok/s。

同一新闻,精选展示《hokanosekai 开源 llama.kt:在 Android 端侧运行 GGUF 模型的 llama.cpp Kotlin 绑定》

来源:GitHub · 去对齐工具与仓库 · github.com