跳到正文
Hugging Face · 新模型:uncensored·· 8 天前精选AI 评分68

IndrasMirror 发布 DeepSeek-V4.1-Flash-1017 的 XQ 混合精度去对齐量化版

IndrasMirror/DeepSeek-V4.1-Flash-1017-XQ-Uncensored

来源与原文

Hugging Face · 新模型:uncensored

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/IndrasMirror/DeepSeek-V4.1-Flash-1017-XQ-Uncensored

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

IndrasMirror 发布 DeepSeek-V4.1-Flash-1017 的 XQ 混合精度量化版,552B 参数 MoE 压缩到 152 GB,可在 RTX 4090(24 GB)加 90 GB 内存的家用 PC 上运行,需配合自研 Xolotl 引擎而非 llama.cpp/Ollama。模型带 rank-2 拒绝方向编辑(manifest id adea0515bbf69a0b),拒绝探针显示 chat 模式 0/100、think 模式 0/50 拒绝;8K 预填充 239.8 tok/s,解码 12–13 tok/s。短 Gauntlet 测试 2/5,比作者此前 V4.1 v2 量化版(4/5)有回退,原因尚未定位;校准后重做的 V3 版本正在上传。

推荐理由

作者给出了拒绝探针、困惑度和速度的实测数据,还说明了量化分配与拒绝方向编辑的具体做法,可据此评估这个本地化版本。

来源:Hugging Face · 新模型:uncensored · huggingface.co