Hugging Face · 新模型:abliterated·· 3 小时前AI 评分39
xunlinkx 发布 Spark-X2.6-4B-Abliterated 的 MLX oQ4e 量化版本
xunlinkx/Spark-X2.6-4B-Abliterated-Uncensored-MLX-oQ4e-fp16
来源与原文
Hugging Face · 新模型:abliterated
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/xunlinkx/Spark-X2.6-4B-Abliterated-Uncensored-MLX-oQ4e-fp16
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
xunlinkx 在 Hugging Face 发布 electroglyph/Spark-X2.6-4B-uncensored 的 MLX/oMLX oQ4e 4-bit 混合精度量化版,源模型由 Heretic 2.0.0.dev0 ARA 消融得到,作者报告 100 条提示中 6 次拒答、KL 散度 0.0027。量化基于 FP16 输入,面向 8 GB 起的 Apple Silicon(M1 至 M6),采用 128 校准样本、序列长度 512、group size 64,Apache-2.0 许可。本地实测加载并生成 16 个 token,峰值内存 2.859 GB。
来源:Hugging Face · 新模型:abliterated · huggingface.co