跳到正文
Hugging Face · 新模型:uncensored·· 1 小时前精选AI 评分55

jakeatx 发布 qwen3.8-27b-Swift1.5-Uncensored 的 ATX-AI4 量化文件

jakeatx/qwen3.8-27b-Swift1.5-Uncensored-ATX-AI4

来源与原文

Hugging Face · 新模型:uncensored

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/jakeatx/qwen3.8-27b-Swift1.5-Uncensored-ATX-AI4

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

jakeatx 在 Hugging Face 发布 qwen3.8-27b-Swift1.5-Uncensored-ATX-AI4,为 llamAmpere AI+ 格式量化,约 4.2 bits per weight、14.4 GB,保留 MTP draft head,不含 vision tower,需 llamAmpere v0.6 及以上,不能在 mainline llama.cpp 加载。RTX 3090 Ti 实测显示 KL 散度比 IQ4_XS-M 低 10.4%,100K prompt 读取 1,337 tok/s(+8.9%),写入 111.5 tok/s,峰值显存 17.3 GB;相比 llamAmpere v0.5 的 IQ4_XS-M,v0.6 用此文件写入快 13.5%、读取快 23%。

推荐理由

作者用同一构建实测了 KL 散度、读写速度和显存占用,并给出与 IQ4_XS-M 量化的对照数据,可据此判断该文件的取舍。

来源:Hugging Face · 新模型:uncensored · huggingface.co