GitHub · 去对齐工具与仓库·2026-10-06 11:14· 21 天前精选AI 评分82

bloomery 0.2.1 发布：面向 MoE 模型 offload 的 Rust 推理引擎

midagedev/bloomery

来源与原文

GitHub · 去对齐工具与仓库

发布时间：2026-10-06 11:14（北京时间）

完整链接与内容说明

https://github.com/midagedev/bloomery

本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。

AI 导读

midagedev 发布 bloomery 0.2.1，一个用 Rust 从 HTTP 服务器写到 CUDA kernel 的 MoE 推理引擎，兼容 llama-server 的 HTTP API 与 GGUF 文件，OpenAI 客户端无需改动。

推荐理由

原文给出了各模型在具体硬件上的实测吞吐和与 llama.cpp 等引擎的同卡对比，读者可据此评估这套 MoE offload 方案是否适合自己的配置。