GitHub · 灵魂体仓库·· 20 天前AI 评分57
arcint：面向 Intel Arc GPU 的窄域 LLM 推理引擎开源
marfrit/arcint
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/marfrit/arcint
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
marfrit 发布 arcint，一个专为 Intel Arc A770（16 GiB）和 Arc Pro B60（24 GB）设计的窄域 LLM 推理引擎，仅运行 allowlist 内的 hybrid Qwen 模型。内核工作委托给打了补丁的 OpenVINO 构建并附公开补丁系列，另提供基于 pinned commit llama.cpp 的 libllama 后端，自管 KV 内存、prefix 缓存、前缀复用、DFlash 和 MTP 投机解码。
来源：GitHub · 灵魂体仓库 · github.com