Huihui-Ornith-1.5-35B-A3B-abliterated MTPLX 混合 8/4-bit FP16 量化版发布
基于 huihui-ai/Huihui-Ornith-1.5-35B-A3B-abliterated 制作的 MTPLX 混合 8/4-bit FP16 量化版,去除第 11–29 层拒绝行为,采用 4-bit affine(group 32)量化 MoE 专家、8-bit(group 64)量化注意力投影,主干 dtype fp16 并带 MTP sidecar。在 Apple Silicon 上支持原生 MTP 推测解码,M1 Max 64GB 下 D2 调优后达 74.0 tok/s、1.49x 加速;MIT 许可,用 mtplx serve 命令下载运行。