跳到正文
Reddit · r/LocalLLaMA· /u/SamSausages·· 6 天前精选AI 评分62

Intel Arc Pro B65 几乎没有跑分数据,作者自建 4x 平台实测长上下文吞吐

Hardly any benchmarks for Intel B65, so I got 4x and tested them. Long Context Sweeps for Flash-Next and other models

来源与原文

Reddit · r/LocalLLaMA

作者:/u/SamSausages

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xavy8t/hardly_any_benchmarks_for_intel_b65_so_i_got_4x/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

/u/SamSausages 因 Intel B65 几乎没有公开跑分,自建 4x B65 平台,用 vLLM 对 Flash-Next W4A16 和 Qwen3.8-27B 的 INT4、FP8、BF16 等配置做长上下文吞吐扫描,覆盖 0 到 200K 上下文和 1 到 16 并发请求。数据显示 Flash-Next 开启 MTP-3 后单请求吞吐约翻倍(0 上下文 84.5 对 42.7 tokens/sec),200K 上下文下降到 45.8;Qwen3.8-27B INT4 在 4 卡下 8 并发可达 468.2 tokens/sec。

推荐理由

作者自建 4x Intel B65 平台,实测多款模型在 16K 到 200K 上下文下的吞吐数据,并给出 MTP 开关与不同精度的对照。

来源:Reddit · r/LocalLLaMA · reddit.com