GitHub · 去对齐工具与仓库·· 20 天前AI 评分15
pegainfer：基于 Rust 与 CUDA 的轻量级 LLM 推理引擎 Windows 使用指南
Frexio/pegainfer
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Frexio/pegainfer
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
pegainfer 是一个用 Rust 和 CUDA 构建的轻量级 LLM 推理引擎，可在配备 Nvidia GPU（GTX 10 系列或更新）的 Windows 10+ 64 位电脑上本地运行大语言模型。它免安装、以独立 .exe 形式分发，初始下载后可离线使用，最低需要 8 GB 内存和 10 GB 空闲存储。文章介绍了从 GitHub Releases 下载、放置模型文件到加载模型与文本生成的完整使用流程。
来源：GitHub · 去对齐工具与仓库 · github.com