GitHub · 去对齐工具与仓库·· 17 天前精选AI 评分74
Lucebox 开源推理引擎发布,为消费级 GPU 和异构硬件做投机推理优化
Luce-Org/lucebox
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Luce-Org/lucebox
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Luce-Org 在 GitHub 开源了 Lucebox 推理引擎,主打异构机器与消费级 GPU 上的投机推理,含 DFlash、PFlash、KVFlash、Megakernel 等自定义 kernel 优化。README 给出大量实测数据,如 Qwen 3.8 27B 在 R9700 上用 DFlash2 达 208.1 tok/s,Laguna XS 2.1 33B 在 RTX 3090 上 256K 预填充从 411 s 降至 67.3 s;支持 ROCm/CUDA 后端、Docker 快速部署和 OpenAI 兼容 API,附 Claude Code、Codex 等客户端启动脚本。项目以 Apache 2.0 许可发布。
推荐理由
仓库为每种模型和硬件组合都给出了实测推理数据并附权重链接,想在自己消费级 GPU 上做投机推理部署的话可以直接对照复现。
来源:GitHub · 去对齐工具与仓库 · github.com