Hugging Face · 新模型:uncensored·· 14 天前AI 评分43
Ternary Bonsai 2 27B Uncensored Heretic v2:带 DFlash2 投机解码的 MLX 2-bit Compact 打包发布
3hs4n/Ternary-Bonsai-2-27B-Uncensored-Heretic-v2-mlx-2bit-compact-DFlash2
来源与原文
Hugging Face · 新模型:uncensored
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/3hs4n/Ternary-Bonsai-2-27B-Uncensored-Heretic-v2-mlx-2bit-compact-DFlash2
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Hugging Face 上发布 Ternary Bonsai 2 27B Uncensored Heretic v2 的 Compact MLX 2-bit 打包,内置 BF16 DFlash2 草稿模型(3.85 GB)与自定义运行时,模型权重未被重新量化或再训练。在 Apple M1 Max 上,temperature 0 的贪心解码下代码、数学与工具调用提速 1.07-1.24x,聊天、长文档等场景反而慢至 0.74-0.96x,13 条测试提示的加速中位数为 0.96x,且需额外约 4 GiB 内存。该打包仅支持 Apple Silicon Mac 与 mlx 0.32.2、mlx-vlm 0.7.2,文件夹内也保留原 serve.py 供普通推理使用。
来源:Hugging Face · 新模型:uncensored · huggingface.co