Flint 40B-A2.5B abliterated 模型发布 oQ4e/oQ8e 两个 MLX 量化版本

Studio-Research-M1 发布 dima6312/Flint-40B-A2.5B-abliterated（39.8B 参数 MoE，每 token 约 2.5B 激活）的两个 MLX 量化版本 oQ4e（23.4 GB）和 oQ8e（42.3 GB），在 Apple M1 Max 上构建并实测。oQ8e 的 KLD 为 0.077，低于模型自身 BF16 计算的数值底噪 0.088；解码约 50 tok/s、预填充 400–500 tok/s，与 Recursive 官方 INT4 速度相当。因第 46 层激活峰值约 90,000 超出 FP16 上限 65,504，非量化张量保持 BF16，避免 NaN；建议 64 GB 以上 Mac 用 oQ8e，32–48 GB 用 oQ4e。