跳到正文
Hugging Face · 新模型:abliterated·· 1 小时前同新闻AI 评分53

FrostWolfAI 发布 Spark-X2.6-4B 去对齐版 MLX 4-bit 权重

FrostWolfAI/Spark-X2.6-4B-abliterated-MLX

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/FrostWolfAI/Spark-X2.6-4B-abliterated-MLX

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

FrostWolfAI 在 Hugging Face 发布 Spark-X2.6-4B-abliterated 的 Apple silicon 原生 MLX 4-bit 转换版,用 Heretic v2 的 Arbitrary-Rank Ablation 对 XHToken/Spark-X2.6-4B 去审查,拒绝率从 100/100 降到 2/100,KL 散度 0.0177。架构、1M token 上下文、可控思考与  格式保持不变;4-bit 版 2.32 GB,16 GB 内存可跑,Apple M3 上生成约 12 tok/s,另有 8-bit 近无损版本和 GGUF 版本。作者提醒该模型无安全过滤,会执行基座会拒绝的请求,不建议直接用于面向第三方的公开端点。

同一新闻,精选展示《FrostWolfAI 发布 Spark-X2.6-4B 去对齐版 MLX 8-bit 权重》

来源:Hugging Face · 新模型:abliterated · huggingface.co