跳到正文
我的
热点事件持续更新

Huihui-Qwen3.8-Flash-Next abliterated v2 发布 MLX 量化版

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

bydlosoft 发布了 huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated-v2 的 MLX 混合 4/8-bit 量化构建。该构建从官方 BF16 权重出发,逐张量比对后替换了消融改动的 96 个张量;在 wikitext-2 上困惑度为 4.5502,与基座混合量化版的 4.5286 相差约 0.5%,并在 16k 至 258k tokens 下全部检索到 3 个事实。 使用需 mlx-vlm 0.7.12 以上和约 110 GB 统一内存,采用与基座相同的 Qwen Community License 1.0。n-gram 表留在磁盘上逐行读取,首次请求因页面进入缓存而较慢。bydlosoft 称其机器各为 64 GB,未在单进程中运行过该包。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月6日
  1. Hugging Face · 新模型:abliterated精选
    Huihui-Qwen3.8-Flash-Next-abliterated-v2 发布 MLX 混合 4/8-bit 量化版

    bydlosoft 发布了 huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated-v2 的 MLX 混合 4/8-bit 构建,需 mlx-vlm 0.7.12 以上和约 110 GB 统一内存。构建从官方 BF16 权重出发,逐张量比对后替换消融改动的 96 个张量,在 wikitext-2 上困惑度为 4.5502,与基座混合量化版的 4.5286 相差约 0.5%,并在 16k 至 258k tokens 下全部检索到 3 个事实。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。