Hugging Face · 新模型:uncensored·· 1 小时前精选AI 评分55
jakeatx 发布 qwen3.8-27b-Swift1.5-Uncensored 的 ATX-AI4 量化文件
jakeatx/qwen3.8-27b-Swift1.5-Uncensored-ATX-AI4
来源与原文
Hugging Face · 新模型:uncensored
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/jakeatx/qwen3.8-27b-Swift1.5-Uncensored-ATX-AI4
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
jakeatx 在 Hugging Face 发布 qwen3.8-27b-Swift1.5-Uncensored-ATX-AI4,为 llamAmpere AI+ 格式量化,约 4.2 bits per weight、14.4 GB,保留 MTP draft head,不含 vision tower,需 llamAmpere v0.6 及以上,不能在 mainline llama.cpp 加载。RTX 3090 Ti 实测显示 KL 散度比 IQ4_XS-M 低 10.4%,100K prompt 读取 1,337 tok/s(+8.9%),写入 111.5 tok/s,峰值显存 17.3 GB;相比 llamAmpere v0.5 的 IQ4_XS-M,v0.6 用此文件写入快 13.5%、读取快 23%。
推荐理由
作者用同一构建实测了 KL 散度、读写速度和显存占用,并给出与 IQ4_XS-M 量化的对照数据,可据此判断该文件的取舍。
来源:Hugging Face · 新模型:uncensored · huggingface.co