GitHub · 去对齐工具与仓库·· 20 天前AI 评分40
HuggingFace Optimum Intel：基于 OpenVINO 加速 Intel 硬件上的模型推理
huggingface/optimum-intel
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/huggingface/optimum-intel
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Optimum Intel 是 HuggingFace Transformers、Diffusers、Sentence Transformers、timm 与 Intel OpenVINO 之间的接口，可对模型做量化、剪枝和知识蒸馏等压缩优化，导出为 OpenVINO IR 格式并运行推理。通过 pip install -U optimum-intel 即可安装，支持 Intel CPU、GPU 及专用 DL 推理加速器，也可使用 optimum-cli 导出如 TinyLlama_v1.1 等模型，或对 Whisper 等模型做 int8 静态量化。
来源：GitHub · 去对齐工具与仓库 · github.com