跳到正文
Hugging Face · 新模型:uncensored·· 3 天前精选AI 评分68

Qwen3.8-27B OrcaRouter Uncensored 的 GGUF 与 NInfer 量化版发布,适配 16 GB 显存

codavidgarcia/Qwen3.8-27B-OrcaRouter-Uncensored-MTP-GGUF

来源与原文

Hugging Face · 新模型:uncensored

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/codavidgarcia/Qwen3.8-27B-OrcaRouter-Uncensored-MTP-GGUF

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

codavidgarcia 发布 orcarouter/Qwen3.8-27B-Uncensored 的 GGUF 与 NInfer 量化文件,让模型连同原生 MTP 头在 16 GB 显存内运行。该去对齐版本在 abliterlitics 的 12 个变体对比中以 82% 的有害提示服从率排第一,各能力基准与原模型差距在 ±1.3 分内;作者在单张 RTX 4080 16 GB 上实测了各文件的 KLD、速度与 llama.cpp/NInfer 运行命令,许可证为 Apache-2.0。

推荐理由

原文给出拒绝率、KLD 与 RTX 4080 实测速度数据,可据此判断该去对齐量化版的损失与 16 GB 可用性。

来源:Hugging Face · 新模型:uncensored · huggingface.co