Hugging Face · 新模型:uncensored·· 18 天前AI 评分29
Ternary Bonsai 2 27B Uncensored Heretic v2 Compact MLX 2-bit 紧凑版发布
3hs4n/Ternary-Bonsai-2-27B-Uncensored-Heretic-v2-mlx-2bit-compact
来源与原文
Hugging Face · 新模型:uncensored
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/3hs4n/Ternary-Bonsai-2-27B-Uncensored-Heretic-v2-mlx-2bit-compact
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
3hs4n 在 Hugging Face 发布 Ternary Bonsai 2 27B Uncensored Heretic v2 的紧凑版 MLX 权重,将 27 个视觉 MLP expansion 层从 FP16 量化为原生 MLX affine 2-bit/group-128,权重文件从 8.60 GB 降至 8.37 GB,节省约 230 MB(2.68%)。全部 2,057 个语言张量逐字节不变,思考模板与 tool-call 格式保留,上下文上限 262,144 tokens。已在 LM Studio 0.4.26+4 验证通过,但推理质量未经 benchmark,视觉量化为有损。
来源:Hugging Face · 新模型:uncensored · huggingface.co