跳到正文
我的
Hugging Face · 新模型:abliterated·· 11 小时前精选AI 评分69

Huihui-CyberStrike-OffSec-35B-A3B abliterated 模型发布 oQ4e 与 oQ8e 两档 MLX 量化

Studio-Research-M1/Huihui-CyberStrike-OffSec-35B-A3B-abliterated-oQ4e-FP16-MTP-MLX

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/Studio-Research-M1/Huihui-CyberStrike-OffSec-35B-A3B-abliterated-oQ4e-FP16-MTP-MLX

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Studio-Research-M1 在 Hugging Face 发布了 huihui-ai/Huihui-CyberStrike-OffSec-35B-abliterated 的 oQ4e 与 oQ8e 两档 MLX 量化(22.5 GB / 39.5 GB),在 Apple M1 Max 64 GB 上实测:oQ4e 解码 67 tok/s,oQ8e 54 tok/s,prefill 740–870 tok/s。oQ8e 的平均 KLD 为 0.0036,比 BF16 原始权重(0.0054)更接近 FP32 参考;保留 MTP 头使代码生成提速 +13% 至 +35%。

推荐理由

模型卡给出了KLD、困惑度和7项基准的前后对比,读者可以据此在oQ4e与oQ8e两个量化档位间按显存和用途做选择。

来源:Hugging Face · 新模型:abliterated · huggingface.co

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。