Reddit · r/LocalLLaMA· /u/fuzhongkai·· 4 天前AI 评分50
Muse Spark 816B 在 10× A40 上跑通：TensorSharp 与 llama.cpp 多 GPU 推理对比
I got Muse Spark 816B running on 10× A40 GPUs — some interesting results comparing TensorSharp and llama.cpp
来源与原文
Reddit · r/LocalLLaMA
作者：/u/fuzhongkai
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xcprjt/i_got_muse_spark_816b_running_on_10_a40_gpus_some/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
开源 .NET 推理引擎 TensorSharp 在 10× NVIDIA A40 上运行 Muse Spark 816B（42B 激活参数，Unsloth UD-IQ3_XXS 量化，约 316 GiB 权重），并与 llama.cpp 对比。张量并行下 TensorSharp 达 22.6 tok/s 解码、4 并发 45.7 tok/s，层切分下 4K prefill 达 1346.8 tok/s，比 llama.cpp 快 2.07×；层切分 prefill 吞吐比张量并行高 4.6×。质量对比中 Top-1 一致率约 98.8%，功能检查层切分 13/14、张量并行 14/14 通过。
来源：Reddit · r/LocalLLaMA · reddit.com