Hugging Face · 新模型:uncensored·· 12 天前AI 评分34
electroglyph/Muse-Glimmer-30B-uncensored2 的 AutoRound W4A16 量化版发布
electroglyph/Muse-Glimmer-30B-uncensored2-AutoRound-W4A16-G128
来源与原文
Hugging Face · 新模型:uncensored
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/electroglyph/Muse-Glimmer-30B-uncensored2-AutoRound-W4A16-G128
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
electroglyph/Muse-Glimmer-30B-uncensored2 现有 AutoRound W4A16 量化版本(4-bit 权重、group_size=128、symmetric),基于 Intel AutoRound 的 SignRound 调优,使用 512 个样本、seqlen=2048、iters=1000 进行校准。模型可通过 vLLM 原生内核直接部署,或用 transformers>=5.22.2 加载,max-model-len 支持 32768。推荐采样参数为 temperature=1.0、top_p=0.95、top_k=64,推理强度可在系统提示词中设置,编码和 agentic 任务建议使用 high/xhigh。
来源:Hugging Face · 新模型:uncensored · huggingface.co