跳到正文
Hugging Face · 新模型:uncensored·· 18 天前AI 评分29

Ternary Bonsai 2 27B Uncensored Heretic v2 Compact MLX 2-bit 紧凑版发布

3hs4n/Ternary-Bonsai-2-27B-Uncensored-Heretic-v2-mlx-2bit-compact

来源与原文

Hugging Face · 新模型:uncensored

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/3hs4n/Ternary-Bonsai-2-27B-Uncensored-Heretic-v2-mlx-2bit-compact

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

3hs4n 在 Hugging Face 发布 Ternary Bonsai 2 27B Uncensored Heretic v2 的紧凑版 MLX 权重,将 27 个视觉 MLP expansion 层从 FP16 量化为原生 MLX affine 2-bit/group-128,权重文件从 8.60 GB 降至 8.37 GB,节省约 230 MB(2.68%)。全部 2,057 个语言张量逐字节不变,思考模板与 tool-call 格式保留,上下文上限 262,144 tokens。已在 LM Studio 0.4.26+4 验证通过,但推理质量未经 benchmark,视觉量化为有损。

来源:Hugging Face · 新模型:uncensored · huggingface.co