Hugging Face · 新模型:abliterated·· 12 天前精选AI 评分66
Avicennasis 发布 MiniCPM-V-4.7-35B-A3B 消融版 MLX 4-bit 量化
Avicennasis/MiniCPM-V-4.7-35B-A3B-abliterated-MLX-4bit
来源与原文
Hugging Face · 新模型:abliterated
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/Avicennasis/MiniCPM-V-4.7-35B-A3B-abliterated-MLX-4bit
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Avicennasis 发布了 MiniCPM-V-4.7-35B-A3B 的拒绝消融版 MLX 4-bit 量化,基于 openbmb 的 Apache-2.0 基座,约 23 GB、5 个分片,是首个 abliterated MiniCPM-V-4.7 的 MLX 版本。仅改动语言模型,视觉部分保留 bf16;自测红队中双用途拒绝从 8/18 降至 0/18、敏感类从 15/16 降至 0/16,工具调用 248/280 基本无损,与基座的 KL 散度为 0.101,无统计显著回归。峰值显存约 24 GiB,32 GB 以上 Apple Silicon 可跑。
推荐理由
作者用统一红队协议给出消融前后的拒绝率和能力回归数据,本地用户可据此判断这个 MLX 4-bit 版本的可信度。
来源:Hugging Face · 新模型:abliterated · huggingface.co