跳到正文
GitHub · 灵魂体仓库·· 20 天前精选AI 评分64

Lemon Seed Engine(LSE)发布:内置内核编译器的 LLM 推理引擎,支持 AMD GPU 与 macOS

Geramy/LSE

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Geramy/LSE

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Geramy 发布 Lemon Seed Engine(LSE,v0.5.4),一个带内核编译与优化引擎的 LLM 推理引擎,可将 GPU 内核经 HIP 或 Loom 编译并缓存复用,通过 HTTP 服务器、CLI 或 C API libLSE 在 AMD GPU 上运行文本模型,支持 Linux、macOS 和 iPadOS。在 R9700 配 Apple M5 Max 上跑 Qwen3.8-27B Q4,DFlash2 投机解码 50.5 tok/s,FlashPrefill 在 32K 预 fill 提速 51–55%,KV 缓存支持 fp32 到 bf8 五种存储格式。项目采用 MIT 许可证,相关项目包括 mac_linuxgpu 驱动和 amdgpu_mtopg 监控工具。

推荐理由

README 附带 R9700 上的 TTFT、解码速度和 FlashPrefill 实测数据,想评估 AMD GPU 本地推理方案的读者可以拿来对比。

来源:GitHub · 灵魂体仓库 · github.com