跳到正文
Hugging Face · 新模型:uncensored·· 22 天前精选AI 评分74

TokenTinkerer 发布 Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 十档 GGUF 量化集

TokenTinkerer/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-TTQ-GGUF

来源与原文

Hugging Face · 新模型:uncensored

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/TokenTinkerer/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-TTQ-GGUF

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

TokenTinkerer 基于 HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 发布了 TTQ 十档 GGUF 量化集,从 3.33 bpw 到 6.72 bpw,全部从上游 Q8_K_P 用自建 imatrix 重量化。每档以同一机器同一协议实测 KLD/RMS 与 llama-bench 速度,每档 KLD 均优于上游仓最接近尺寸的量化 1.26× 到 3.51×,同质量档位小 1.44 到 7.90 GiB,匹配对比下 decode 快 6% 到 19%、prefill 快 28% 到 80%。

推荐理由

作者用同一协议实测十档量化的KLD、体积与速度,并给出与上游仓位的逐项对照,读者可按显存和用途挑选合适的档位。

来源:Hugging Face · 新模型:uncensored · huggingface.co