Reddit · r/LocalLLaMA· /u/Maglcite·· 9 天前AI 评分55
网友用单张 RX 9060 XT 16GB 本地跑 Qwen 3.8 27B 262k 上下文
You don’t need that expensive of a build for local llms.
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Maglcite
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x8s73i/you_dont_need_that_expensive_of_a_build_for_local/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit 用户 /u/Maglcite 分享了一套低成本本地 LLM 部署：仅用一张 RX 9060 XT 16GB 和 24GB DDR5，以 unsloth IQ4XS 量化加 q4 KV cache（keys 用 q8）、MTP 与 ngram 预测，跑 Qwen 3.8 27B 达 262k 上下文。实测 20k 上下文生成 42.7 tps、预填充 658 tps，200k 时为 35/500 tps；使用 achyudh 的 llama.cpp fork，并让 Grok bot 通过 SSH 修复了缺失 PCIe atomics 的 bug。
来源：Reddit · r/LocalLLaMA · reddit.com