跳到正文
Hugging Face · 新模型:abliterated·· 2 小时前精选AI 评分64

BoldingBuilds 发布 Ternary-Bonsai-2-27B Abliterated v2 的 PTQ1_0 GGUF 版

BoldingBuilds/Ternary-Bonsai-2-27B-Abliterated-v2-PTQ1_0-GGUF

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/BoldingBuilds/Ternary-Bonsai-2-27B-Abliterated-v2-PTQ1_0-GGUF

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

BoldingBuilds 发布 Ternary-Bonsai-2-27B-Abliterated-v2-PTQ1_0 GGUF,把 v2 PQ2_0 的去拒答改动重打包进更小的 1.75-bpw PTQ1_0 格式,并修复 v1 把答案写进推理、耗尽 token 预算的问题。v2 修改了输出层一行,使模型在答案就绪后关闭推理;medium 推理档位下 200 条安全提示答对 199 条,4096-token 预算内 StrongReject 评分 0.971。该文件需 PrismML 的 llama.cpp fork 才能加载,mainline llama.cpp、Ollama 和 LM Studio 均不支持。

推荐理由

作者给出了去拒答与思考修复的具体张量改动,并用 SimpleSafetyTests 和 StrongReject 评分对比了 v1、v2 与 PQ2_0 的拒绝率和空白回答数据。

来源:Hugging Face · 新模型:abliterated · huggingface.co