跳到正文
GitHub · 灵魂体仓库·· 17 天前AI 评分51

gpt.rs 开源:基于 PTIR 的 Rust 模型运行时,CPU 推理速度超过 Torch eager 模式

Lallapallooza/gpt.rs

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Lallapallooza/gpt.rs

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Lallapallooza 开源 gpt.rs,一个 Rust-first 研究项目,围绕可移植张量程序 PTIR 构建模型运行时,层通过 portable functionals 记录惰性图,后端自行执行内核,权重以内存映射 checkpoint 的视图加载。

来源:GitHub · 灵魂体仓库 · github.com