跳到正文
Hugging Face · 新模型:uncensored·· 13 天前AI 评分50

Ternary Bonsai 2 27B Uncensored Heretic v2:MLX 2-bit DFlash2 推测解码包发布

3hs4n/Ternary-Bonsai-2-27B-Uncensored-Heretic-v2-mlx-2bit-DFlash2

来源与原文

Hugging Face · 新模型:uncensored

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/3hs4n/Ternary-Bonsai-2-27B-Uncensored-Heretic-v2-mlx-2bit-DFlash2

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Hugging Face 上发布的 Ternary Bonsai 2 27B Uncensored Heretic v2 是一个自包含 MLX 2-bit 包,为原版 Heretic v2 添加 DFlash2 推测解码,保留 FP16 视觉塔(8,595,478,392 字节)和 3.85 GB BF16 drafter,不重量化不重训。在 Apple M1 Max 上,temperature 0 的代码和数学任务速度为普通解码的 1.07-1.23x,工具调用 1.16x,13 个提示中位数 0.90x,需约 4 GiB 额外内存。通用聊天、长文档和采样建议改用普通解码的 serve.py。

来源:Hugging Face · 新模型:uncensored · huggingface.co