Reddit 用户分享 Core Ultra 换 EPYC 7443 跑本地大模型的调优与前后对比

Reddit 用户 /u/mrgreatheart 在 r/LocalLLaMA 发帖，分享把本地 llama.cpp 推理平台从 Core Ultra 7 265KF 桌面平台换成 EPYC 7443（24 核，Supermicro H12SSL-NT 主板，256 GB 八通道 DDR4）后需要修复和调优的内容。GPU 配置前后不变：RTX 3090 FE、RTX 5070 Ti 和 2× RTX 5060 Ti 16 GB。修复项包括用 ipmitool 调低 BMC 风扇阈值、内存从 2666 超到 3200、内核加 iommu=pt、开启 Resizable BAR 与 Ten Bit Tag 等。据其数据，GLM 解码速度提升约 3–5%，张量并行 llama.cpp 的 prefill 提升 3.5%，NVMe 随机读取恢复；但部分 BIOS 调整使待机功耗从最初约 156 W 升至约 180 W。

AI 根据报道生成 · 10 小时前更新