跳到正文
Hugging Face · 新模型:uncensored·· 8 天前精选AI 评分62

IndrasMirror 发布 DeepSeek-V4.1-Flash-1017 GSQ 无对齐量化版,152 GB 可在单张 RTX 4090 上运行

IndrasMirror/DeepSeek-V4.1-Flash-1017-GSQ-Uncensored

来源与原文

Hugging Face · 新模型:uncensored

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/IndrasMirror/DeepSeek-V4.1-Flash-1017-GSQ-Uncensored

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

IndrasMirror 发布 DeepSeek-V4.1-Flash-1017 的 GSQ 混合层级量化无对齐版本,552B 参数 MoE 压缩到 152 GB,可在 RTX 4090(24 GB)加 90 GB 内存的家用 PC 上以 12–13 tok/s 解码运行。模型对专家采用 ternary/2-bit/3-bit 混合量化(平均 2.093 bpw),并施加 mrfakename 风格的 rank-2 拒绝方向编辑;行为探针显示 chat 模式 100 个有害与 100 个安全样本均 0 次拒绝,think 模式同样 0 次拒绝。

推荐理由

卡片给出了量化前后困惑度对比、拒绝探针和速度实测数据,读者可以据此判断这个 152 GB 版本在消费级硬件上的真实质量。

来源:Hugging Face · 新模型:uncensored · huggingface.co