跳到正文
Hugging Face · 新模型:uncensored·· 4 天前AI 评分29

NeoHorse-1-9B-Uncensored GSQ-RCO GGUF 量化版发布,适配 llama.cpp 本地推理

abenzerps/NeoHorse-1-9B-Uncensored-GSQ-RCO-GGUF

来源与原文

Hugging Face · 新模型:uncensored

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/abenzerps/NeoHorse-1-9B-Uncensored-GSQ-RCO-GGUF

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

abenzerps 基于 TokenRhythm/NeoHorse-1-9B 发布 GSQ-RCO 混合精度 GGUF 量化版本,采用 RCO 保留全部 48 个关键 SSM 参数为 BF16,并用 GSQ 按 Hessian 灵敏度校准逐层优化精度。提供 IQ2_XS 到 IQ4_XS 共 5 档文件,推荐 IQ3_M(3.75 bpw、4.20 GB)。配合 4-bit KV cache 可在 8GB 显存的消费级 GPU 上以约 6 GB VRAM 运行 131k 上下文,遵循 Apache-2.0 License。

来源:Hugging Face · 新模型:uncensored · huggingface.co