Huihui-Qwen3.5-2B-abliterated-W4A16-GPTQ 量化模型上线 Hugging Face
Hugging Face 上架 nchapman 发布的 Huihui-Qwen3.5-2B-abliterated-W4A16-GPTQ,这是一个 2B 参数、W4A16 GPTQ 量化的 abliterated 多模态模型,支持图像-文本到文本任务。文档给出 Transformers、vLLM、SGLang 及 Docker 的部署示例,并支持通过 OpenAI 兼容 API 调用。