跳到正文
Reddit · r/LocalLLaMA· /u/TheOriginalG2·· 19 天前精选AI 评分69

LemonSeed Studio 0.5.8 发布:Qwen3.8-27B Q4 在 iPad 外接 R9700 上达 159 tok/s

Qwen3.8-27B: 159 tok/s on R9700, 64 tok/s on Strix Halo

来源与原文

Reddit · r/LocalLLaMA

作者:/u/TheOriginalG2

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1x18e95/qwen3827b_159_toks_on_r9700_64_toks_on_strix_halo/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

LemonSeed Studio 0.5.8 发布,这是一款在 iPad 上通过 Thunderbolt 外接 AMD GPU 做端侧推理的编辑器/IDE,内嵌 Linux amdgpu + amdkfd 驱动并运行 LemonSeed Engine。作者给出 Qwen3.8-27B Q4 配 DFlash2 草稿模型的实测数据:R9700 在 iPadOS/macOS/Linux 下解码达 158.5/159.4/144.6 tok/s,Strix Halo 为 64.4 tok/s;4K prefill 分别为 1,636/1,634/1,418/517 tok/s。

推荐理由

作者实测了同一引擎在 iPadOS、macOS 和 Linux 三种平台下的解码与 prefill 吞吐数据,可作为本地推理性能迁移的参考。

来源:Reddit · r/LocalLLaMA · reddit.com