跳到正文
Reddit · r/LocalLLaMA· /u/fuzhongkai·· 2 天前精选AI 评分69

TensorSharp 首日支持 MiniMax-M3.1-Flash,8× A40 实测 64K prefill 达 2,567 tok/s

Day 1 MiniMax-M3.1-Flash support in TensorSharp: GGUF, vision, tool calling, DSpark, and 8× A40 benchmarks

来源与原文

Reddit · r/LocalLLaMA

作者:/u/fuzhongkai

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xejzuo/day_1_minimaxm31flash_support_in_tensorsharp_gguf/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

TensorSharp 开发者在 MiniMax-M3.1-Flash 开放权重发布当天加入支持,支持 GGUF 推理、MiniMax Sparse Attention 专用 CUDA kernel、图文输入、tool calling、多 GPU 拆分与张量并行、DSpark 投机解码和 MoE 专家 CPU offload。在 8× NVIDIA A40、双方使用相同 Unsloth UD-Q4_K_XL GGUF 的对比中,64K executor prefill 达 2,567 tok/s,对比被测 llama.cpp 分支的 262 tok/s 提升约 9.8 倍,server 首字时间从 293.4 秒降至 40.0 秒;64K decode 提升 1.49 倍,短对话 decode 基本持平。

推荐理由

开发者给出两引擎在8× A40上的prefill与decode实测,并解释长上下文差距来自稀疏注意力的实现差异,可复现。

来源:Reddit · r/LocalLLaMA · reddit.com