跳到正文
Hugging Face · 新模型:abliterated·· 18 天前精选AI 评分69

hotdogs 发布 Ternary Bonsai 2 27B 去对齐合并版,约7.6GB 单卡可跑

hotdogs/Ternary-Bonsai-2-27B-Abliterated-swift-cap-PQ2_0-MTP

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/hotdogs/Ternary-Bonsai-2-27B-Abliterated-swift-cap-PQ2_0-MTP

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

hotdogs 在 Hugging Face 发布 Ternary-Bonsai-2-27B-Abliterated-swift-cap-PQ2_0-MTP,基于 BoldingBuilds 的去拒绝 v2 版,以 0.4 scale 合并 Swift 去对齐与 ThinkingCap 省 token 推理两个 SVD-LoRA。模型采用 PQ2_0 三元量化(约2.13 bits/weight),27.3B 参数仅约 7.6 GB,支持 262,144 token 上下文、视觉输入和 MTP 投机解码。仅能通过 PrismML 的 llama.cpp fork 加载,主线程 llama.cpp、Ollama 和 LM Studio 均不支持。

推荐理由

原文给出abliteration的张数、MMLU损失和各LoRA保留能量,合并构建的局限与适用范围都写得很透明。

来源:Hugging Face · 新模型:abliterated · huggingface.co