mradermacher 发布 Flint-40B-A2.5B-abliterated GGUF 量化模型
mradermacher 在 Hugging Face 上提供 Flint-40B-A2.5B-abliterated 模型的 GGUF 量化版本,示例量化格式为 Q4_K_S。该模型可通过 llama.cpp 在本地运行,支持启动 OpenAI 兼容服务器或终端直接推理,也可用 Ollama、Docker Model Runner、Lemonade 等工具加载,并可接入 Pi、Hermes、OpenClaw 等智能体工具。