Reddit · r/LocalLLaMA· /u/TacGibs·· 17 天前AI 评分43
48GB 显存兼顾速度与质量：Qwen 3.8 27B Swift 1.5 W8A16 量化版实测
48Gb VRAM speed AND quality ! (Qwen 3.8 27B Swift 1.5 W8A16)
来源与原文
Reddit · r/LocalLLaMA
作者：/u/TacGibs
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x2j3gx/48gb_vram_speed_and_quality_qwen_38_27b_swift_15/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一位用户自制的 Qwen 3.8 27B Swift 1.5 量化版（8 bit AWQ + GPTQ，W8A16）可在 48GB VRAM 上兼顾速度与质量。用 vLLM 与 MTP=5 在 2 张 RTX 3090 上运行，解码速度接近 100 tok/s，开启 128k context 和 FP16 KV cache 时每卡占用约 21.6GB。作者称其比原版 3.8 27B 更少过度思考，是他认为 48GB VRAM 下的最佳折中方案。
来源：Reddit · r/LocalLLaMA · reddit.com