GitHub · 灵魂体仓库·· 18 天前AI 评分21
fastInfer:基于 Triton GPU 内核的实验性 LLM 推理运行时启动开发
malikakarsh/fastInfer
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/malikakarsh/fastInfer
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 上的 fastInfer 是一个处于早期开发阶段的实验性 LLM 推理运行时,核心方向是自定义 Triton GPU 内核和可复现的性能测量。目前仅实现了 PyTorch 矩阵乘法参考实现、CPU 正确性测试、CUDA-event 基准和环境报告脚本,首个 Triton 内核与 serving 组件尚未实现,也未发布任何 GPU 性能结果。基准默认对 1×256 与 256×256 矩阵做 float16 乘法,包含 10 次 warmup 和 30 次计时重复,要求 Python 3.10+。
来源:GitHub · 灵魂体仓库 · github.com