跳到正文
Hugging Face · 新模型:abliterated·· 13 天前AI 评分43

Huihui-Qwen3.8-27B-Abliterated-Hybrid-GGUF 量化模型发布,专为 Apple Silicon 优化

kabcpc/Huihui-Qwen3.8-27B-Abliterated-Hybrid-GGUF

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/kabcpc/Huihui-Qwen3.8-27B-Abliterated-Hybrid-GGUF

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

kabcpc 发布 Huihui-Qwen3.8-27B Abliterated 的混合量化 GGUF(PTQ1_0-LUT + Q4_1),包体积 6.86 GiB,可在 16 GB 内存的 Mac Mini M 系列上流畅运行,支持 131k 上下文。该版本将 54 个 abliterated 张量以 Q4_1(5.0 bpw)重新量化,PPL 为 3.6742,Metal GPU 下生成速度 16.4–16.5 tokens/sec,提示处理 63.3–65.9 tokens/sec,实现零 CPU 回退、通过全部 uncensored 检查,并支持多模态与 JSON 工具调用。

来源:Hugging Face · 新模型:abliterated · huggingface.co