Reddit · r/LocalLLaMA· /u/Bulky-Priority6824·· 18 天前AI 评分42
LocalLLaMA 讨论：NVFP4 多卡运行方案与 Qwen 3.8 对比体验
What are you using for NVFP4 and Do you like it?
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Bulky-Priority6824
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x0yxrf/what_are_you_using_for_nvfp4_and_do_you_like_it/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit r/LocalLLaMA 用户讨论多 GPU 上运行 NVFP4 量化的工具选择：作者目前只能跑通 unsloth，认为 vLLM 加载太慢，TensorRT-LLM 问题太多。对 Qwen 3.8 的 NVFP4 版初步测试中，代码表现一般，但视觉和 tool calling 印象深刻，复杂场景略优于 Q6 gguf。在 2x5060ti 上以 197k ctx 运行速度出色，模型加载仅需 4-6 秒。
来源：Reddit · r/LocalLLaMA · reddit.com