Reddit · r/LocalLLaMA· /u/xpnrt·· 8 天前AI 评分15
RDNA2 GPU 上除 llama.cpp 外还有更好的本地 LLM 运行方案吗?
Is there an alternative to base llama.cpp for RDNA2 gpus in general with local LLM usage ?
来源与原文
Reddit · r/LocalLLaMA
作者:/u/xpnrt
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x9we92/is_there_an_alternative_to_base_llamacpp_for/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit 用户询问在 RDNA2 GPU 上运行本地 LLM 时,除 llama.cpp 外是否有性能更好的替代方案或分支。多数 AMD GPU 相关项目依赖仅 RDNA3 及以上才支持的 WMMA,图像视频生成有时可用 triton 绕过,但 RDNA2 上功能能否使用全凭情况;strata 虽有 RDNA2 路径并成功运行其试用的 coder 模型,但仅适用于一个特定大模型。用户希望找到 Windows 下可用的方案。
来源:Reddit · r/LocalLLaMA · reddit.com