Hugging Face · 新模型:abliterated·· 18 天前精选AI 评分69
hotdogs 发布 Ternary Bonsai 2 27B 去对齐合并版,约7.6GB 单卡可跑
hotdogs/Ternary-Bonsai-2-27B-Abliterated-swift-cap-PQ2_0-MTP
来源与原文
Hugging Face · 新模型:abliterated
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/hotdogs/Ternary-Bonsai-2-27B-Abliterated-swift-cap-PQ2_0-MTP
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
hotdogs 在 Hugging Face 发布 Ternary-Bonsai-2-27B-Abliterated-swift-cap-PQ2_0-MTP,基于 BoldingBuilds 的去拒绝 v2 版,以 0.4 scale 合并 Swift 去对齐与 ThinkingCap 省 token 推理两个 SVD-LoRA。模型采用 PQ2_0 三元量化(约2.13 bits/weight),27.3B 参数仅约 7.6 GB,支持 262,144 token 上下文、视觉输入和 MTP 投机解码。仅能通过 PrismML 的 llama.cpp fork 加载,主线程 llama.cpp、Ollama 和 LM Studio 均不支持。
推荐理由
原文给出abliteration的张数、MMLU损失和各LoRA保留能量,合并构建的局限与适用范围都写得很透明。
来源:Hugging Face · 新模型:abliterated · huggingface.co