跳到正文
Reddit · r/LocalLLaMA· /u/Impossible_Art9151·· 19 天前AI 评分12

llama.cpp 双 DGX Spark 集群启动 unsloth Qwen3.8-Flash-Next MTP 文件求助

struggling with llama.cpp 2 x dgx spark mtp files start command (unsloth)

来源与原文

Reddit · r/LocalLLaMA

作者:/u/Impossible_Art9151

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1x0l335/struggling_with_llamacpp_2_x_dgx_spark_mtp_files/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

一位用户在 Reddit r/LocalLLaMA 求助:其 2 x DGX Spark 集群上运行 deepseek-flash 正常,但用 unsloth 的 Qwen3.8-Flash-Next-GGUF:Q8_0 配合 mtp-Qwen3.8-Flash-Next-Q8_0.gguf 等 MTP 文件启动 llama-server 时出现 dgx-stall,ctx-size 设为 256000、使用 --spec-type draft-dspark 与 RPC,不知道如何正确加载这两个 MTP 文件。

来源:Reddit · r/LocalLLaMA · reddit.com