Hugging Face · 新模型:abliterated·· 2 天前精选AI 评分73
DeepSeek-V4.1-Flash-1017 去对齐版 GGUF 量化发布,763B MoE 最低 235.8 GB 内存可跑
ktobik/deepseek-v41-flash-1017-abliterated-gguf-public
来源与原文
Hugging Face · 新模型:abliterated
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/ktobik/deepseek-v41-flash-1017-abliterated-gguf-public
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
ktobik 在 Hugging Face 发布 abliterated(去拒绝)版 DeepSeek-V4.1-Flash-1017 的 GGUF 量化,提供 Mix-256G(235.8 GB 内存)与 Mix-128G(114.0 GB)两种构建。模型为 763B 参数 MoE,含 384 个路由专家和 197B 参数 Engram n-gram 表(110.6 GB 留在 SSD 按需读取),1M token 上下文。精度由实测 KLD 的背包搜索逐层分配,Mix-256G 在 held-out 文本上 top-1 一致率 93.7%、PPL 较原模型 +2.4%。
推荐理由
原文给出实测 KLD、拒绝率前后对比和逐层精度搜索方法,读者可据此判断去对齐版本与量化方案的实际代价。
来源:Hugging Face · 新模型:abliterated · huggingface.co