跳到正文
GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分67

jeffgrover/b70-setup:Intel Arc Pro B70 上 llama.cpp SYCL 本地推理仓库

jeffgrover/b70-setup

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/jeffgrover/b70-setup

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者在 Minisforum Venus 迷你主机加 Intel Arc Pro B70 32GB eGPU 上,用 llama.cpp SYCL/XMX 加 llama-swap 搭建单端口 OpenAI 兼容端点,供 opencode 和 pi 调用。仓库列出 14 个量化模型的 VRAM 占用与吞吐实测,10 月 7 日新增 Swift 1.5 Qwen3.8-27B,2048-token 微批提升 8K prompt 摄入约 10%,新概率 MTP 模式在 f16 生成上提升 9.5%、q8 上提升 4.7%;另附 LocalAI 对照、Qwen/Agents 调优前后配对测量及故障排查说明。

推荐理由

原文给出 Intel Arc Pro B70 上 llama.cpp SYCL 部署的完整配参、VRAM 实测与多模型调优数据,可复现到同类 eGPU 本地推理环境。

来源:GitHub · 去对齐工具与仓库 · github.com