跳到正文
我的
Hugging Face · 新模型:abliterated·· 2 天前精选AI 评分57

huihui-ai 发布 DeepSeek-V4-Flash 的 abliterated GGUF 量化版本

longlenai-team/Huihui-DeepSeek-V4-Flash-abliterated-ds4-GGUF

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/longlenai-team/Huihui-DeepSeek-V4-Flash-abliterated-ds4-GGUF

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

huihui-ai 在 Hugging Face 发布基于 abliteration 制作的 deepseek-ai/DeepSeek-V4-Flash 无审查版本 GGUF 量化包,提供 Q2(80.8 GiB)、IQ2_XXS(74.7 GiB)、Q2_K(92.8 GiB)、Q4_K(153 GiB)多档,另有可选的 3.6 GiB MTP 投机解码文件。量化针对 ds4(antirez/ds4)和 llama.cpp 引擎,附 UDS 与张量并行加速补丁;测试环境 RTX 6000 Pro 96GB 下推理超 35 tokens/s,Q2 版本仍有一定拒绝率。模型卡提醒输出无默认安全保障,建议仅用于研究与受控环境。

推荐理由

除了去对齐权重本身,还给出了各量化档位大小与 ds4、llama.cpp 两条本地部署路径,适合自行对照硬件选型。

来源:Hugging Face · 新模型:abliterated · huggingface.co

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。