GitHub · 灵魂体仓库·· 3 小时前AI 评分30
intel/intel-accel-for-llm：用 Intel 硬件加速器提升 LLM 推理性能
intel/intel-accel-for-llm
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/intel/intel-accel-for-llm
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Intel 开源的 iaxl 项目利用 QAT、IAA、DSA 等硬件加速器提升 LLM 推理性能，其 KVShrink 是基于 IAXL KVStore 的 vLLM V1 KV connector，支持对 KV cache 做 DEFLATE 压缩，压缩级别 1-9 默认为 1，并可经 RDMA 实现跨节点 KV Cache 复用。文档给出主机内核参数、QAT 驱动安装、GDRCopy 与 DSA 配置步骤，示例模型为 Qwen/Qwen3-32B，服务默认监听 localhost:8000，管理 API 监听 localhost:18700。
来源：GitHub · 灵魂体仓库 · github.com