跳到正文
GitHub · 灵魂体仓库·· 20 天前AI 评分39

gnostral.rs:面向受限硬件本地 AI 推理的 Rust 开源研究仓库

tension-atoi/gnostral.rs

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/tension-atoi/gnostral.rs

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

gnostral.rs 是一个公开、可复现的本地 AI 推理研究仓库,研究 Rust-first 运行时、量化、多模态负载、KV-cache 与引擎中立编排等方向。参考基线为 NVIDIA RTX 3070(8 GiB VRAM + 32 GiB RAM),当前合格的 Bonsai 基线为 35.2 tok/s、28.44 ms/token;仓库明确不认领未经证据支持的 40 tok/s 结果。原始代码采用 MIT 许可,欢迎带 provenance 和 Signed-off-by 的复现与负结果贡献。

来源:GitHub · 灵魂体仓库 · github.com