作者用单张 RTX 5090 跑通 DeepSeek V4.1 Flash 1017 并与 llama.cpp 对比速度

/u/jesdga95 在自研推理引擎 Basalt 中跑通 DeepSeek V4.1 Flash 1017（Unsloth UD-IQ1_S），硬件为 RTX 5090 加 RTX 5060 Ti 16 GB 和 128 GB DDR5。107 GiB 专家全部放内存、5090 作热门专家缓存时解码 53.6 tok/s，让 5060 Ti 计算部分专家后达 63.5 tok/s，同硬件同量化的 llama.cpp --fit 基线约 20 tok/s；6.2k 提示词 prefill 为 610 tok/s。支持工具调用、图像和最高 1M 上下文（1M 提示词约 26 分钟），greedy 输出与 llama.cpp 在全部测试提示词上一致，尚无 PPL/KLD 数据。