GitHub · 去对齐工具与仓库·· 3 天前同新闻AI 评分62
tensai-app 开源 llama.kt:Android 端 Kotlin 绑定 llama.cpp 本地推理
tensai-app/llama.kt
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/tensai-app/llama.kt
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
tensai-app 发布 llama.kt,为 llama.cpp 提供 Kotlin/Android JNI 绑定,可加载任意 GGUF 模型在设备端推理,无需服务器或云端。原生 C++ 引擎提取自 llama.rn 并剥离 RN 层,已在 OPPO / Dimensity 900 上验证,Qwen2.5-0.5B(q4_K_M)CPU 生成约 20 tok/s。
同一新闻,精选展示《hokanosekai 开源 llama.kt:在 Android 端侧运行 GGUF 模型的 llama.cpp Kotlin 绑定》
来源:GitHub · 去对齐工具与仓库 · github.com