Hugging Face · 新模型:abliterated·· 2 小时前精选AI 评分64
BoldingBuilds 发布 Ternary-Bonsai-2-27B Abliterated v2 的 PTQ1_0 GGUF 版
BoldingBuilds/Ternary-Bonsai-2-27B-Abliterated-v2-PTQ1_0-GGUF
来源与原文
Hugging Face · 新模型:abliterated
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/BoldingBuilds/Ternary-Bonsai-2-27B-Abliterated-v2-PTQ1_0-GGUF
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
BoldingBuilds 发布 Ternary-Bonsai-2-27B-Abliterated-v2-PTQ1_0 GGUF,把 v2 PQ2_0 的去拒答改动重打包进更小的 1.75-bpw PTQ1_0 格式,并修复 v1 把答案写进推理、耗尽 token 预算的问题。v2 修改了输出层一行,使模型在答案就绪后关闭推理;medium 推理档位下 200 条安全提示答对 199 条,4096-token 预算内 StrongReject 评分 0.971。该文件需 PrismML 的 llama.cpp fork 才能加载,mainline llama.cpp、Ollama 和 LM Studio 均不支持。
推荐理由
作者给出了去拒答与思考修复的具体张量改动,并用 SimpleSafetyTests 和 StrongReject 评分对比了 v1、v2 与 PQ2_0 的拒绝率和空白回答数据。
来源:Hugging Face · 新模型:abliterated · huggingface.co