John2202 发布 Qwen3-1.7B-abliterated Q4_K_M GGUF 量化版模型
John2202 在 Hugging Face 发布 Qwen3-1.7B-abliterated 的 Q4_K_M GGUF 量化版本,由 mlabonne/Qwen3-1.7B-abliterated 通过 llama.cpp 转换而来。用户可通过 llama-cli 或 llama-server 命令直接加载使用,服务器模式默认 -c 2048 上下文。模型也可在 llama.cpp 仓库中按源码编译方式(支持 LLAMA_CUDA 等 GPU 加速编译选项)直接调用。