Reddit · r/LocalLLaMA· /u/asfbrz96·· 15 天前精选AI 评分69
strix-llama.cpp 新分支 rdna35-perf:prompt processing 比 Vulkan 快 21–54%,128k 下最高达原版 ROCm 的 2.74 倍
strix-llama new branch: prompt processing +21–54% over Vulkan and up to 2.7× over stock ROCm kernel at 128k, same outputs quality
来源与原文
Reddit · r/LocalLLaMA
作者:/u/asfbrz96
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x3s4qu/strixllama_new_branch_prompt_processing_2154_over/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
/u/asfbrz96 在 Strix Halo(Radeon 8060S、128 GB)上为 llama.cpp fork strix-llama.cpp 开出 rdna35-perf 分支(10 commits,仅 ROCm/HIP)。prompt processing 比 Vulkan 快 21–54%、比原版 ROCm 快 8–174%,领先幅度随上下文深度扩大;生成速度与 Vulkan 打平或落后 2–3%。作者用 KL 散度和 32k 困惑度验证输出质量不变,主要改动包括 RDNA3.5 flash attention kernel、量化 GEMM 调优、MoE 与 Gated DeltaNet 的 decode 融合。
推荐理由
作者给出三种模型在 0k 到 128k 多档深度下的完整实测表,并用 KL 散度和困惑度验证输出未变,数据可直接复现。
来源:Reddit · r/LocalLLaMA · reddit.com