Reddit · r/LocalLLaMA· /u/Prudent_Appearance71·· 19 天前精选AI 评分67
双 CMP 170HX 64GB 本地跑 GLM-5.3-Flash 384K 上下文约 90 tok/s，并对比 Qwen3.8
2x CMP 170HX 64GB: GLM-5.3-Flash at 384K context / ~90 tok/s (EXL3, HBM-first setup) + Qwen3.8 comparison
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Prudent_Appearance71
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x0b1ws/2x_cmp_170hx_64gb_glm53flash_at_384k_context_90/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
/u/Prudent_Appearance71 在 2 张 64GB CMP 170HX 上用 EXL3 3.05bpw 让 GLM-5.3-Flash 目标权重完全驻留 HBM，配合 6bpw DFlash2 草稿模型和环形缓存跑通 384K 上下文，解码约 90 tok/s，配置和脚本已开源在 https://github.com/Flun/glm53-flash-cmp170hx-exl3。
推荐理由
作者在同一台机器上实测两套本地部署方案，把原始推理速度和真实智能体任务完成时间分开对比，思路对搭建类似配置有参考。
来源：Reddit · r/LocalLLaMA · reddit.com