DeepSeek V4.1 Flash 2.61 bpw 量化版在双 RTX 3090 上跑出 26 t/s
/u/whiteh4cker 基于 u/lxe 的 dsx 推理引擎制作并上传了 DeepSeek-V4.1-Flash-1017-dsx-2.6bit 量化权重,面向编程与智能体任务。该 2.6127 bpw 版本对比 FP4 teacher(KL 0.253、Top-1 78.7%、Perplexity 9.78)与 2.03 bpw 版本,取得 KL 0.1972、Top-1 82.59%、Perplexity 9.3626。在 2x RTX 3090、192 GB DDR5 的硬件上,262,144 上下文加 Engram 表(203 GB,SATA SSD)下生成速度 26 t/s、prompt 处理 170 t/s;187.6 GB 权重从 HDD 加载需 90-110 分钟,引擎尚不支持图像。