Huihui-Ornith-1.5-35B 消融版 MTPLX 混合量化模型发布
先了解这件事
npario 在 Hugging Face 发布基于 huihui-ai/Huihui-Ornith-1.5-35B-A3B-abliterated 的 MTPLX 混合 8/4-bit FP16 量化版，MIT 许可，可通过 mtplx serve 命令下载运行。该模型去除了原版的第 11–29 层拒绝行为（即消融处理）。 量化方案为：MoE 专家采用 4-bit affine（group 32）、注意力投影采用 8-bit（group 64），主干 dtype 为 fp16 并带 MTP sidecar。在 Apple Silicon 上支持原生 MTP 推测解码，主要面向没有原生 BF16 的 M1/M2 Mac，M3 及以上也能运行；据发布信息，M1 Max 64GB 经 D2 调优后达 74.0 tok/s、1.49 倍加速。
AI 根据报道生成 · 7 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Hugging Face · 新模型：abliteratedHuihui-Ornith-1.5-35B-A3B-abliterated MTPLX 混合 8/4-bit FP16 量化版发布
基于 huihui-ai/Huihui-Ornith-1.5-35B-A3B-abliterated 制作的 MTPLX 混合 8/4-bit FP16 量化版，去除第 11–29 层拒绝行为，采用 4-bit affine（group 32）量化 MoE 专家、8-bit（group 64）量化注意力投影，主干 dtype fp16 并带 MTP sidecar。在 Apple Silicon 上支持原生 MTP 推测解码，M1 Max 64GB 下 D2 调优后达 74.0 tok/s、1.49x 加速；MIT 许可，用 mtplx serve 命令下载运行。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 1010月27日 09:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。