Hugging Face · 新模型:abliterated·· 1 小时前精选AI 评分60
FrostWolfAI 发布 Spark-X2.6-4B 去对齐版 MLX 8-bit 权重
FrostWolfAI/Spark-X2.6-4B-abliterated-MLX-8bit
来源与原文
Hugging Face · 新模型:abliterated
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/FrostWolfAI/Spark-X2.6-4B-abliterated-MLX-8bit
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
FrostWolfAI 在 Hugging Face 发布 Spark-X2.6-4B-abliterated 的 MLX 8-bit 量化版本,基于 XHToken/Spark-X2.6-4B 用 Heretic v2 的 Arbitrary-Rank Ablation 消融去对齐。拒绝率从 100/100 降到 2/100,KL 散度 0.0177,1M token 上下文、可控思考等能力保持不变。8-bit 版对 BF16 接近无损,占 4.37 GB;16 GB 机器可选 2.32 GB 的 4-bit 版。Apple M3 上生成约 8 tok/s,峰值内存约 4.6 GB。作者提醒该模型无安全过滤,会执行基座模型会拒绝的请求,不建议直接用于面向第三方的公开端点。
推荐理由
模型卡给出 ARA 消融方法、100 项拒绝率前后对比和 KL 散度数据,并说明 8-bit 与 4-bit 量化如何取舍。
来源:Hugging Face · 新模型:abliterated · huggingface.co