Hugging Face · 新模型:abliterated·· 11 小时前精选AI 评分69
Huihui-CyberStrike-OffSec-35B-A3B abliterated 模型发布 oQ4e 与 oQ8e 两档 MLX 量化
Studio-Research-M1/Huihui-CyberStrike-OffSec-35B-A3B-abliterated-oQ4e-FP16-MTP-MLX
来源与原文
Hugging Face · 新模型:abliterated
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/Studio-Research-M1/Huihui-CyberStrike-OffSec-35B-A3B-abliterated-oQ4e-FP16-MTP-MLX
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Studio-Research-M1 在 Hugging Face 发布了 huihui-ai/Huihui-CyberStrike-OffSec-35B-abliterated 的 oQ4e 与 oQ8e 两档 MLX 量化(22.5 GB / 39.5 GB),在 Apple M1 Max 64 GB 上实测:oQ4e 解码 67 tok/s,oQ8e 54 tok/s,prefill 740–870 tok/s。oQ8e 的平均 KLD 为 0.0036,比 BF16 原始权重(0.0054)更接近 FP32 参考;保留 MTP 头使代码生成提速 +13% 至 +35%。
推荐理由
模型卡给出了KLD、困惑度和7项基准的前后对比,读者可以据此在oQ4e与oQ8e两个量化档位间按显存和用途做选择。
来源:Hugging Face · 新模型:abliterated · huggingface.co
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。