GitHub · 灵魂体仓库·· 7 天前AI 评分22
jaco-qwant-llm:面向 JACO 的可移植模型运行时适配器
Rick84444/jaco-qwant-llm
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Rick84444/jaco-qwant-llm
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 上的 jaco-qwant-llm 是 JACO 的可移植模型运行时组件,通过 OpenAI 兼容接口对接真实上游模型(如 llama.cpp 或 Android 上的 Gemma 4 E2B / LiteRT-LM),并在 localhost 3131 端口提供 /v1/chat/completions 适配。项目保留实验性 ACFQ ARM/NEON GEMV 内核研究,但该内核未接入任何模型推理图,未证明任何 token/s 或能耗提升。文内还记录 Pixel 10 Pro 上 Bonsai-27B-Q1_0 CPU 模式约 0.35 prompt tokens/s 的设备实测。
来源:GitHub · 灵魂体仓库 · github.com