跳到正文
GitHub · 去对齐工具与仓库·· 21 天前AI 评分51

rustllama:单二进制 Rust LLM 推理运行时在 GitHub 开源

mattx86/rustllama

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/mattx86/rustllama

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

mattx86 在 GitHub 发布 rustllama,一个 Rust 编写的 LLM 推理运行时,支持系统内存与显存混合卸载、OpenAI 兼容 HTTP 服务、CLI 和原生 egui GUI,全部打包为单一二进制,不依赖 llama.cpp。

来源:GitHub · 去对齐工具与仓库 · github.com