跳到正文
GitHub · 去对齐工具与仓库·· 20 天前AI 评分57

CloudRift 开源 Emmy:PyTorch 到 CUDA 的 LLM 编译、基准与部署栈

cloudrift-ai/emmy

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/cloudrift-ai/emmy

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

CloudRift 在 GitHub 开源 Emmy,一套覆盖编译、基准测试与部署的 LLM 推理优化栈,通过 kernel fusion、autotuning 和高级调度优化推理,并发布博客称在 Gemma4-12B 上超越 vLLM(cuBLAS 与 FlashAttention)。编译器走 PyTorch → Graph IR → CUDA 六级 IR 流水线,可追踪任意 nn.Module 并融合为单 kernel;内置 schedule 与 placement 两个 CatBoost 先验,夜间刷新仅在 median golden rank 至少下降 5% 且无回退时合入。

来源:GitHub · 去对齐工具与仓库 · github.com