跳到正文
Hugging Face · 新模型:uncensored·· 17 天前精选AI 评分63

j-llm 发布 Qwen3.8-27B-Uncensored 的 OptiQ 混合 4/8-bit MLX 量化版

j-llm/Qwen3.8-27B-Uncensored-OptiQ-4bit

来源与原文

Hugging Face · 新模型:uncensored

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/j-llm/Qwen3.8-27B-Uncensored-OptiQ-4bit

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

j-llm 在 Hugging Face 发布 orcarouter/Qwen3.8-27B-Uncensored 的 OptiQ 混合 4/8-bit MLX 量化版,约 19.2 GB,5.13 bits/weight。该量化基于对 uncensored 权重直接测量的逐层 KL 敏感度分配精度,保留 BF16 视觉塔与 MTP head sidecar,262,144 token 上下文;Capability Score 88.86,高于参考版 mlx-community/Qwen3.8-27B-OptiQ-4bit 的 87.98。

推荐理由

原文给出逐层 KL 敏感度测量和 6 项基准对比,读者可评估混合量化相对参考版的质量取舍。

来源:Hugging Face · 新模型:uncensored · huggingface.co