跳到正文
Hugging Face · 新模型:abliterated·· 1 小时前精选AI 评分60

FrostWolfAI 发布 Spark-X2.6-4B 去对齐版 MLX 8-bit 权重

FrostWolfAI/Spark-X2.6-4B-abliterated-MLX-8bit

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/FrostWolfAI/Spark-X2.6-4B-abliterated-MLX-8bit

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

FrostWolfAI 在 Hugging Face 发布 Spark-X2.6-4B-abliterated 的 MLX 8-bit 量化版本,基于 XHToken/Spark-X2.6-4B 用 Heretic v2 的 Arbitrary-Rank Ablation 消融去对齐。拒绝率从 100/100 降到 2/100,KL 散度 0.0177,1M token 上下文、可控思考等能力保持不变。8-bit 版对 BF16 接近无损,占 4.37 GB;16 GB 机器可选 2.32 GB 的 4-bit 版。Apple M3 上生成约 8 tok/s,峰值内存约 4.6 GB。作者提醒该模型无安全过滤,会执行基座模型会拒绝的请求,不建议直接用于面向第三方的公开端点。

推荐理由

模型卡给出 ARA 消融方法、100 项拒绝率前后对比和 KL 散度数据,并说明 8-bit 与 4-bit 量化如何取舍。

来源:Hugging Face · 新模型:abliterated · huggingface.co