跳到正文
GitHub · 去对齐工具与仓库·· 20 天前AI 评分11

Air.rs:用 Rust 在 Windows 消费级 GPU 上本地运行 LLM 的开源项目

dinahthreewheel75/Air.rs

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/dinahthreewheel75/Air.rs

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

开源项目 Air.rs 基于 Rust 编写,可在 Windows 10 及以上系统的消费级 NVIDIA GPU 上离线运行 LLaMA 等大语言模型,支持 70B 参数级别模型,最低要求 4GB 显存(如 GTX 1650)、16GB 内存和 10GB 磁盘空间。项目开箱即用,支持调整 batch size、temperature 和 max tokens 等参数,可通过 GitHub Issues 反馈问题。

来源:GitHub · 去对齐工具与仓库 · github.com