跳到正文
GitHub · 灵魂体仓库·· 20 天前AI 评分12

aura 开源工具:在 4GB 内存的 Windows 笔记本上运行 7B 大模型

ashcakeancient7671/aura

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/ashcakeancient7671/aura

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

开源工具 aura 可让低内存 Windows 电脑运行 7B 参数大语言模型,最低仅需 4GB RAM。它通过内存预算限制、按需加载模型分片和实时优化来防止"内存溢出"崩溃,支持 GGUF 格式的 Llama、Mistral、Phi、Gemma 等模型,可离线本地运行,数据不上传云端,完全免费开源。

来源:GitHub · 灵魂体仓库 · github.com