GitHub · 去对齐工具与仓库·· 20 天前AI 评分11
Air.rs:用 Rust 在 Windows 消费级 GPU 上本地运行 LLM 的开源项目
dinahthreewheel75/Air.rs
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/dinahthreewheel75/Air.rs
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
开源项目 Air.rs 基于 Rust 编写,可在 Windows 10 及以上系统的消费级 NVIDIA GPU 上离线运行 LLaMA 等大语言模型,支持 70B 参数级别模型,最低要求 4GB 显存(如 GTX 1650)、16GB 内存和 10GB 磁盘空间。项目开箱即用,支持调整 batch size、temperature 和 max tokens 等参数,可通过 GitHub Issues 反馈问题。
来源:GitHub · 去对齐工具与仓库 · github.com