GitHub · 灵魂体仓库·· 20 天前AI 评分39
gnostral.rs:面向受限硬件本地 AI 推理的 Rust 开源研究仓库
tension-atoi/gnostral.rs
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/tension-atoi/gnostral.rs
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
gnostral.rs 是一个公开、可复现的本地 AI 推理研究仓库,研究 Rust-first 运行时、量化、多模态负载、KV-cache 与引擎中立编排等方向。参考基线为 NVIDIA RTX 3070(8 GiB VRAM + 32 GiB RAM),当前合格的 Bonsai 基线为 35.2 tok/s、28.44 ms/token;仓库明确不认领未经证据支持的 40 tok/s 结果。原始代码采用 MIT 许可,欢迎带 provenance 和 Signed-off-by 的复现与负结果贡献。
来源:GitHub · 灵魂体仓库 · github.com