DeepSeek-V4.1-Flash-1017 EXL3 2.50bpw Abliterated 版 Delta Pack 发布
热点事件历史事件
DeepSeek-V4.1-Flash-1017 EXL3 2.50bpw Abliterated 版 Delta Pack 发布
1 篇报道1 个报道来源13 天前更新
先了解这件事
AI 综述
Hugging Face 上发布了 DeepSeek-V4.1-Flash-1017 的 Abliterated(去审查)EXL3 2.50bpw Delta Pack,可在 2× NVIDIA DGX Spark(GB10 128 GB)节点以 TP=2 通过 TensorFold 引擎运行。 据发布信息,相比 2.9bpw 版本,该版本每节点节省约 14 GiB 内存;在 CONTEXT=250000 的 78K 长上下文压力测试中,两节点仍保持 16.5+ GiB 可用内存。性能方面,单流解码中位数为 64.25 tok/s,4 路并发为 124.62 tok/s,32K 与 78K 大海捞针测试结果为 6/6 全对。
AI 根据报道生成 · 8 天前更新
报道时间线
沿着报道,了解事件的不同侧面。
11月10日
- Hugging Face · 新模型:abliteratedDeepSeek-V4.1-Flash-1017 EXL3 2.50bpw Abliterated 版 Delta Pack 发布,支持 2× DGX Spark 部署
Hugging Face 上发布了 DeepSeek-V4.1-Flash-1017 的 Abliterated(去审查)EXL3 2.50bpw Delta Pack,可在 2× NVIDIA DGX Spark (GB10 128 GB) 节点以 TP=2 通过 TensorFold 引擎运行。相比 2.9bpw 版本,每节点节省约 14 GiB 内存,CONTEXT=250000 下 78K 长上下文压力测试期间两节点仍保持 16.5+ GiB 可用内存。单流解码中位数 64.25 tok/s,4 路并发 124.62 tok/s,32K 与 78K 大海捞针测试 6/6 全对。