Reddit · r/LocalLLaMA· /u/Heavy-Level-5215·· 21 天前精选AI 评分69
在 RX 580 8GB 上用 Vulkan 跑 6 个 LLM 加 SD 3.5 和 Whisper 并附实测数据
I run 6 LLMs + SD 3.5 + Whisper behind an OpenAI-compatible API on an RX 580 8 GB - the card ROCm forgot. Benchmarks inside.
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Heavy-Level-5215
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1wyr039/i_run_6_llms_sd_35_whisper_behind_an/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者在 RX 580 8GB 上用 Mesa RADV 的 Vulkan 路线绕开已放弃 Polaris 的 ROCm，通过 OpenAI 兼容路由在单卡上运行 qwen2.5-coder 1.5B/7B。
推荐理由
作者用 Vulkan 绕开 ROCm 对 Polaris 的放弃，在 RX 580 8GB 上跑通多模型并给出完整实测数据，方法可迁移到同类老卡。
来源：Reddit · r/LocalLLaMA · reddit.com