mojo-baro 开源:Mojo 编写的 RDNA3 推理引擎,Q4_0 解码比 llama.cpp 快 1.34x
热点事件历史事件
mojo-baro 开源:Mojo 编写的 RDNA3 推理引擎,Q4_0 解码比 llama.cpp 快 1.34x
1 篇报道1 个报道来源13 天前更新
先了解这件事
AI 综述
开发者 amarbarosys 在 GitHub 开源了 mojo-baro,一个面向 AMD RDNA3 GPU 的大模型推理引擎,所有 GPU 内核用 Mojo 编写,Apache-2.0 协议发布,通过 OpenAI 兼容 HTTP API 在单张 RX 7900 XTX 上提供对话服务。 作者记录的基准结果显示:相同 Q4_0 权重下,密集模型 Qwythos-9B 解码速度比 llama.cpp 快 1.34x(148.89 对 111.34 tok/s,20 条提示词中位数),Q8_0 快 1.07x,35B MoE 与 llama.cpp 持平;fp16 WMMA GEMM 在多个矩阵尺寸上超过 hipBLASLt,最高 1.35x。 仓库不分发模型权重,运行需要 ROCm 7.2、CMake、Rust(服务端)和 uv。作者称其他 RDNA3 显卡因使用同一 ISA 应能编译,但调优效果未经验证。
AI 根据报道生成 · 4 天前更新
报道时间线
沿着报道,了解事件的不同侧面。
11月10日
- GitHub · 灵魂体仓库精选mojo-baro:面向 AMD RDNA3 GPU 的 Mojo 推理引擎开源,Q4_0 解码比 llama.cpp 快 1.34x
GitHub 开源了 mojo-baro,一个面向 AMD RDNA3 GPU 的 LLM 推理引擎,所有 GPU 内核用 Mojo 编写,通过 OpenAI 兼容 HTTP API 在单张 RX 7900 XTX 上提供对话服务。相同 Q4_0 权重下,密集模型 Qwythos-9B 解码比 llama.cpp 快 1.34x(148.89 对 111.34 tok/s,20 提示词中位数),Q8_0 快 1.07x,35B MoE 与 llama.cpp 持平;fp16 WMMA GEMM 在多个矩阵尺寸上超过 hipBLASLt(最高 1.35x)。