GitHub · 去对齐工具与仓库·· 18 天前AI 评分19
QKV-Core：在低端设备上运行大语言模型的开源工具
mtmatheuus/QKV-Core
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/mtmatheuus/QKV-Core
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 上的 QKV-Core 是一款帮助在低内存设备上部署大语言模型的工具。它采用自适应混合量化技术，可处理 7B 参数等大模型，并针对 GTX 1050 等低显存设备优化，利用 Numba 实现快速推理。该工具支持 Windows、macOS 和 Linux，要求 NVIDIA GPU、至少 4 GB 内存、Python 3.8+ 和 CUDA 11.0+，可从 Releases 页面下载。
来源：GitHub · 去对齐工具与仓库 · github.com