跳到正文
GitHub · 灵魂体仓库·· 7 天前AI 评分53

ollama-intel 发布:用 IPEX-LLM 在 Intel 核显上本地运行 Ollama

Ava-AgentOne/ollama-intel

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Ava-AgentOne/ollama-intel

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Ava-AgentOne 发布 ollama-intel,一个预配置 Docker 容器,通过 IPEX-LLM 的 SYCL 后端把全部模型层卸载到 Intel 核显(Meteor Lake、Arrow Lake、Arc)上运行 Ollama,无需独立显卡,兼容 Open WebUI 等 Ollama 客户端,主打 Unraid 与迷你主机用户。在 Core Ultra 7 155H 配 64GB 内存上实测,4B 模型约 15+ tok/s,7-8B 约 8-12 tok/s,14B+ 约 4-6 tok/s;镜像每周经 GitHub Actions 重建,NPU 推理暂不支持。

来源:GitHub · 灵魂体仓库 · github.com