跳到正文
Hugging Face · 新模型:abliterated·· 16 小时前精选AI 评分60

KaedeTai 发布 occamy-1.0-abliterated 的 MLX 4-bit 量化版并移植 MTP 草稿头

KaedeTai/occamy-1.0-abliterated-mtp-mlx-4bit-zhTW

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/KaedeTai/occamy-1.0-abliterated-mtp-mlx-4bit-zhTW

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

KaedeTai 将 SC117 制作的 abliterated 版 Occamy-1.0 从 BF16 GGUF 反向转回 HF 布局并量化为 MLX 4-bit,约 20 GB。仓库装回 Accio-Lab 原版的 vision tower,并从 KaedeTai/Ornith-1.5-35B-A3B-BigBang-MTP-zh-mlx-4bit 原样移植 MTP 草稿头;该头在 Occamy 上草稿接受率达 65.6%(每周期 2.13 个 token),高于其原本干的 Ornith 主干的 64.9%。作者用逐张量逆变换脚本还原 llama.cpp 转换改动,42 个对照张量中 40 个与未去对齐基座逐位一致,其余两个正是消融所改的矩阵。

推荐理由

作者给出了逐张量校验和同机对照的 TMMLU+ 分数,可以核对这套 GGUF 转 MLX 加移植 MTP 头的转换质量与速度收益。

来源:Hugging Face · 新模型:abliterated · huggingface.co