GitHub · 灵魂体仓库·· 20 天前精选AI 评分64
exl3-rdna4-recipe：在AMD RX 9070 XT上本地运行Qwen3.8-27B（EXL3 3.0 bpw）的部署方案
parth-thakre/exl3-rdna4-recipe
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/parth-thakre/exl3-rdna4-recipe
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
该仓库提供在AMD RX 9070 XT（16 GB）上以ExLlamaV3加TabbyAPI运行Qwen3.8-27B EXL3 3.0 bpw的完整脚本，作为OpenAI兼容本地服务器，支持128k上下文、工具调用和图像输入。配合RDNA4补丁和3.0 bpw DFlash2草稿模型做投机解码，短上下文代码生成约130 tok/s，128k下约100 tok/s，对话约55-65 tok/s，WMMA GEMV使草稿验证开销从1.55x降到约1.16x，DeltaNet replay节省约1 GB显存。项目独立，代码由Claude Opus 5.5编写并经GPT-6.1 Sol审阅。
推荐理由
README给出了RDNA4上跑Qwen3.8-27B的完整补丁、基准数字和一键脚本，方法可直接复用到同款AMD显卡。
来源：GitHub · 灵魂体仓库 · github.com