Reddit · r/LocalLLaMA· /u/Fancy-Snow7·· 14 天前AI 评分42
unsloth/Qwen3.8-27B-UD-IQ4_XS 在 16GB VRAM 上实现 262k 上下文 + 视觉、80t/s 与 1500pp
Running unsloth/Qwen3.8-27B-UD-IQ4_XS 262k q4_0 KV + vision on 16GB VRAM @ 80t/s and 1500pp
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Fancy-Snow7
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x4cmfc/running_unslothqwen3827budiq4_xs_262k_q4_0_kv/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit 用户在 16GB VRAM 上以 Q4 量化运行 unsloth/Qwen3.8-27B-UD-IQ4_XS，实现 262k 上下文、q4_0 KV 缓存和视觉能力，MTP 基准约 80t/s、pp 1500。关键在于修改版 llama.cpp-adaptive-kv-streaming 分支，将 KV 流式传输到系统内存的 1.5GB arena；262k 全上下文时约 20t/s、pp 400t/s，作者称对许多人仍属可用。
来源：Reddit · r/LocalLLaMA · reddit.com