GitHub · 去对齐工具与仓库·· 20 天前AI 评分57
CloudRift 开源 Emmy:PyTorch 到 CUDA 的 LLM 编译、基准与部署栈
cloudrift-ai/emmy
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/cloudrift-ai/emmy
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
CloudRift 在 GitHub 开源 Emmy,一套覆盖编译、基准测试与部署的 LLM 推理优化栈,通过 kernel fusion、autotuning 和高级调度优化推理,并发布博客称在 Gemma4-12B 上超越 vLLM(cuBLAS 与 FlashAttention)。编译器走 PyTorch → Graph IR → CUDA 六级 IR 流水线,可追踪任意 nn.Module 并融合为单 kernel;内置 schedule 与 placement 两个 CatBoost 先验,夜间刷新仅在 median golden rank 至少下降 5% 且无回退时合入。
来源:GitHub · 去对齐工具与仓库 · github.com