GitHub · 灵魂体仓库·· 3 天前AI 评分34
在 Android 手机上部署 Llama-3.2-1B-Instruct（Q2_K GGUF）端侧推理项目
Virendra513/edge_AI
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Virendra513/edge_AI
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
该开源项目将 Llama-3.2-1B-Instruct 的 Q2_K GGUF 量化版本（约 554 MB）部署到 Android 手机上，通过 Kotlin + llama.cpp JNI 实现完全离线的多轮聊天，目标速度大于 5 tok/s，可运行于 4 GB RAM 及以下的设备。项目默认上下文长度 n_ctx=2048、temperature=0.7，也可通过 Gradle 参数切换到质量更高的 Q4_K_M（约 770 MB）等量化版本。
来源：GitHub · 灵魂体仓库 · github.com