Reddit · r/LocalLLaMA· /u/BitGreen1270·· 16 天前AI 评分23
vLLM 能否在 RTX 5090 上运行 Qwen3.8-27B-FP8？
[vllm] Is it possible to run Qwen3.8-27B-FP8 on a 5090?
来源与原文
Reddit · r/LocalLLaMA
作者：/u/BitGreen1270
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x2wcwg/vllm_is_it_possible_to_run_qwen3827bfp8_on_a_5090/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一位 Reddit r/LocalLLaMA 用户询问能否在 RTX 5090 上用 vLLM 运行 Qwen3.8-27B-FP8，并认为因最小上下文限制极不可行。他目前用 NVFP4 版本（quasar-qat）流畅运行，支持图像和最高 256k 上下文，该模型仓库大小为 30.9GB，他想对比 FP8 与 NVFP4 在精度上的差异。
来源：Reddit · r/LocalLLaMA · reddit.com