Reddit · r/LocalLLaMA· /u/38andstillgoing·· 10 天前AI 评分48
vLLM 在 4 x Intel B70 上跑通 QFN 3.8 FP8
vLLM finally working on 4 x Intel B70, QFN 3.8 FP8
来源与原文
Reddit · r/LocalLLaMA
作者：/u/38andstillgoing
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x7yxxl/vllm_finally_working_on_4_x_intel_b70_qfn_38_fp8/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit r/LocalLLaMA 用户报告在 4 x Intel B70（128GB VRAM）、128GB RAM 的容器化 vLLM 环境中跑通 QFN 3.8 FP8，支持 256k 上下文与 MTP，实测 prefill 450 t/s、生成 20 t/s。借助 GLM 5.3 flash 等模型协助修复了多个 2^32 溢出导致的随机崩溃，目前运行基本稳定。
来源：Reddit · r/LocalLLaMA · reddit.com