跳到正文
Hugging Face · 新模型:abliterated·· 13 天前精选AI 评分61

FrostWolfAI 发布 LFM3-1.7B-abliterated 的 GGUF 量化版

FrostWolfAI/LFM3-1.7B-abliterated-GGUF

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/FrostWolfAI/LFM3-1.7B-abliterated-GGUF

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

FrostWolfAI 发布了 LiquidAI/LFM3-1.7B 去对齐版本(经 Heretic v2 ARA 处理)的 GGUF 量化。实测拒绝率为 1/100,KL 0.0555,而 base 模型拒绝 91/100;目前 BF16 全精度可用,Q8_0 至 Q2_K 量化正在添加。需新版 llama.cpp 支持 lfm3 架构,Ollama 和 LM Studio 捆绑新版 llama.cpp 也可运行,推理时需 --jinja 以正确渲染思考模型聊天模板与原生 tool-calling。作者声明供安全研究与本地使用。

推荐理由

原文给出了 Heretic v2 消融后的拒绝率对比数据,并说明 llama.cpp 量化与运行要求,可据此判断效果和上手成本。

来源:Hugging Face · 新模型:abliterated · huggingface.co