跳到正文
热点事件持续更新

FrostWolfAI 发布 Spark-X2.6-4B 去对齐版 MLX 8-bit 量化权重

2 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

FrostWolfAI 在 Hugging Face 发布 Spark-X2.6-4B-abliterated 的 Apple silicon 原生 MLX 8-bit 量化版本,并同时提供 4-bit 版。该模型基于 XHToken/Spark-X2.6-4B,用 Heretic v2 的 Arbitrary-Rank Ablation 方法消融去对齐,采用继承自基座的 Apache-2.0 许可证。 按作者公布的测试数据,拒绝率从 100/100 降到 2/100,KL 散度 0.0177,1M token 上下文、可控思考等能力保持不变。8-bit 版对 BF16 接近无损,占 4.37 GB,Apple M3 上生成约 8 tok/s、峰值内存约 4.6 GB;16 GB 机器可选 2.32 GB 的 4-bit 版(Apple M3 上约 12 tok/s),另有 GGUF 版本。这些性能与指标均为作者发布页所列数据。 作者提醒该模型无安全过滤,会执行基座模型会拒绝的请求,不建议直接用于面向第三方的公开端点。

AI 根据报道生成 · 51 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月30日
  1. Hugging Face · 新模型:abliterated精选
    FrostWolfAI 发布 Spark-X2.6-4B 去对齐版 MLX 8-bit 权重

    FrostWolfAI 在 Hugging Face 发布 Spark-X2.6-4B-abliterated 的 MLX 8-bit 量化版本,基于 XHToken/Spark-X2.6-4B 用 Heretic v2 的 Arbitrary-Rank Ablation 消融去对齐。拒绝率从 100/100 降到 2/100,KL 散度 0.0177,1M token 上下文、可控思考等能力保持不变。8-bit 版对 BF16 接近无损,占 4.37 GB;16 GB 机器可选 2.32 GB 的 4-bit 版。Apple M3 上生成约 8 tok/s,峰值内存约 4.6 GB。作者提醒该模型无安全过滤,会执行基座模型会拒绝的请求,不建议直接用于面向第三方的公开端点。

  2. Hugging Face · 新模型:abliterated精选
    FrostWolfAI 发布 Spark-X2.6-4B 去对齐版 MLX 4-bit 权重

    FrostWolfAI 在 Hugging Face 发布 Spark-X2.6-4B-abliterated 的 Apple silicon 原生 MLX 4-bit 转换版,用 Heretic v2 的 Arbitrary-Rank Ablation 对 XHToken/Spark-X2.6-4B 去审查,拒绝率从 100/100 降到 2/100,KL 散度 0.0177。架构、1M token 上下文、可控思考与  格式保持不变;4-bit 版 2.32 GB,16 GB 内存可跑,Apple M3 上生成约 12 tok/s,另有 8-bit 近无损版本和 GGUF 版本。作者提醒该模型无安全过滤,会执行基座会拒绝的请求,不建议直接用于面向第三方的公开端点。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。