Holo4-27B-abliterated EXL3 6bpw 量化版本发布
Hugging Face 用户发布基于 Hcompany/Holo4-27B 的 abliterated 版本的 EXL3 量化模型,目标 6 bpw,转换器报告码率为 6.0,并移除了悬空的 MTP 配置。该模型源自 timteh673/Abliterix 制作的 refusal-direction ablation 版本,采用 CC BY-NC 4.0 仅限非商业使用,同时附带原始 Qwen 基座的 Apache-2.0 许可。发布前已通过 EXL3 加载生成非空文本的冒烟验证,但不包含任何 benchmark 分数,需使用 EXL3 兼容推理软件。