跳到正文
Hugging Face · 新模型:abliterated·· 4 小时前AI 评分30

gemma-2-2b-it-abliterated 的 GGUF 量化版本发布(imatrix,llama.cpp b3496)

Kismi/gemma-2-2b-it-abliterated-GGUF

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/Kismi/gemma-2-2b-it-abliterated-GGUF

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

bartowski 基于 llama.cpp b3496 发布 gemma-2-2b-it-abliterated 的 imatrix GGUF 量化合集,提供从 f32(10.46GB)到 Q2_K_L(1.37GB)的多种量化文件,其中 Q4_K_M(1.71GB)等多档被标注为推荐。该模型不支持 System prompt,可在 LM Studio 中运行,部分量化将嵌入与输出权重固定为 Q8_0。

来源:Hugging Face · 新模型:abliterated · huggingface.co