跳到正文
Hugging Face · 新模型:abliterated·· 13 天前AI 评分43

DeepSeek-V4.1-Flash-1017 EXL3 2.50bpw Abliterated 版 Delta Pack 发布,支持 2× DGX Spark 部署

momokokong/DeepSeek-V4.1-Flash-1017-EXL3-2.50bpw-Abliterated-TensorFold-TP2

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/momokokong/DeepSeek-V4.1-Flash-1017-EXL3-2.50bpw-Abliterated-TensorFold-TP2

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Hugging Face 上发布了 DeepSeek-V4.1-Flash-1017 的 Abliterated(去审查)EXL3 2.50bpw Delta Pack,可在 2× NVIDIA DGX Spark (GB10 128 GB) 节点以 TP=2 通过 TensorFold 引擎运行。相比 2.9bpw 版本,每节点节省约 14 GiB 内存,CONTEXT=250000 下 78K 长上下文压力测试期间两节点仍保持 16.5+ GiB 可用内存。单流解码中位数 64.25 tok/s,4 路并发 124.62 tok/s,32K 与 78K 大海捞针测试 6/6 全对。

来源:Hugging Face · 新模型:abliterated · huggingface.co