跳到正文
GitHub · 去对齐工具与仓库·· 8 天前精选AI 评分66

react-native-litert-lm 发布:React Native 端用 LiteRT-LM 跑 Gemma 4

hung-yueh/react-native-litert-lm

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/hung-yueh/react-native-litert-lm

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

hung-yueh 发布 react-native-litert-lm,让 React Native 应用在 iPhone 和 Android 上通过 LiteRT-LM 与 Nitro Modules 端侧推理 Gemma 4 等模型。核心卖点是内存安全:loadModel() 预检权重加 KV cache 开销、运行时追踪 RSS、上下文溢出预警和确定性 unload(),避免 1–4 GB 模型被 iOS Jetsam 或 Android LMK 杀掉。支持 GPU(Metal/OpenCL)与 Android NPU、投机解码、JSON Schema/正则约束输出、typed 流式事件、工具调用、EmbeddingGemma 2 端侧嵌入,以及单引擎多会话。

推荐理由

README 给出了与 react-native-executorch 和 llama.cpp 的逐项对比表,读者可据此判断手机端跑 Gemma 4 该选哪条路线。

来源:GitHub · 去对齐工具与仓库 · github.com