Hugging Face · 新模型:uncensored·· 7 天前同新闻AI 评分74
DeepSeek-V4.1-Flash GSQ 混合量化无审查版发布,单张 RTX 4090 可跑 552B MoE
robertbschuette/DeepSeek-V4.1-Flash-GSQ-Uncensored
来源与原文
Hugging Face · 新模型:uncensored
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/robertbschuette/DeepSeek-V4.1-Flash-GSQ-Uncensored
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
开发者 Indra's Mirror 在 Hugging Face 发布 DeepSeek-V4.1-Flash 的 GSQ 混合量化版(163 GB,152 GiB 专家权重),基于 dealignai 的 abliterated 无拒绝行为检查点,需搭配自研 Xolotl 引擎在 RTX 4090(24 GB)加 90 GB 内存加 NVMe 的单机上运行,512K 上下文。量化采用 ternary/2-bit/3-bit 混合专家格式加 Q8_0 稠密层,总位宽与均匀 2.25-bit 持平,校准代理上输出误差比均匀 Q2_0 低 17%;实测 prefill 约 250 tok/s,DSpark 解码 17-30 tok/s,HumanEval 21/21、工具调用 10/10。
同一新闻,精选展示《DeepSeek-V4.1-Flash GSQ 混合精度量化版发布,单张 RTX 4090 可跑 552B MoE》
来源:Hugging Face · 新模型:uncensored · huggingface.co