跳到正文
热点事件历史事件

mojo-baro 开源:Mojo 编写的 RDNA3 推理引擎,Q4_0 解码比 llama.cpp 快 1.34x

1 篇报道1 个报道来源13 天前更新

先了解这件事

AI 综述

开发者 amarbarosys 在 GitHub 开源了 mojo-baro,一个面向 AMD RDNA3 GPU 的大模型推理引擎,所有 GPU 内核用 Mojo 编写,Apache-2.0 协议发布,通过 OpenAI 兼容 HTTP API 在单张 RX 7900 XTX 上提供对话服务。 作者记录的基准结果显示:相同 Q4_0 权重下,密集模型 Qwythos-9B 解码速度比 llama.cpp 快 1.34x(148.89 对 111.34 tok/s,20 条提示词中位数),Q8_0 快 1.07x,35B MoE 与 llama.cpp 持平;fp16 WMMA GEMM 在多个矩阵尺寸上超过 hipBLASLt,最高 1.35x。 仓库不分发模型权重,运行需要 ROCm 7.2、CMake、Rust(服务端)和 uv。作者称其他 RDNA3 显卡因使用同一 ISA 应能编译,但调优效果未经验证。

AI 根据报道生成 · 4 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月10日
  1. GitHub · 灵魂体仓库精选
    mojo-baro:面向 AMD RDNA3 GPU 的 Mojo 推理引擎开源,Q4_0 解码比 llama.cpp 快 1.34x

    GitHub 开源了 mojo-baro,一个面向 AMD RDNA3 GPU 的 LLM 推理引擎,所有 GPU 内核用 Mojo 编写,通过 OpenAI 兼容 HTTP API 在单张 RX 7900 XTX 上提供对话服务。相同 Q4_0 权重下,密集模型 Qwythos-9B 解码比 llama.cpp 快 1.34x(148.89 对 111.34 tok/s,20 提示词中位数),Q8_0 快 1.07x,35B MoE 与 llama.cpp 持平;fp16 WMMA GEMM 在多个矩阵尺寸上超过 hipBLASLt(最高 1.35x)。