跳到正文
GitHub · 灵魂体仓库·· 7 天前AI 评分22

jaco-qwant-llm:面向 JACO 的可移植模型运行时适配器

Rick84444/jaco-qwant-llm

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Rick84444/jaco-qwant-llm

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 上的 jaco-qwant-llm 是 JACO 的可移植模型运行时组件,通过 OpenAI 兼容接口对接真实上游模型(如 llama.cpp 或 Android 上的 Gemma 4 E2B / LiteRT-LM),并在 localhost 3131 端口提供 /v1/chat/completions 适配。项目保留实验性 ACFQ ARM/NEON GEMV 内核研究,但该内核未接入任何模型推理图,未证明任何 token/s 或能耗提升。文内还记录 Pixel 10 Pro 上 Bonsai-27B-Q1_0 CPU 模式约 0.35 prompt tokens/s 的设备实测。

来源:GitHub · 灵魂体仓库 · github.com