electroglyph 发布 Muse-Glimmer-30B-uncensored2 的 W4A16 量化版
先了解这件事
electroglyph 在 Hugging Face 发布了 Muse-Glimmer-30B-uncensored2 的 AutoRound W4A16 量化版本(4-bit 权重、group_size=128、symmetric)。 量化基于 Intel AutoRound 的 SignRound 在校准数据上调优(非 RTN),使用 512 个样本、seqlen=2048、iters=1000 进行校准。模型可通过 vLLM 原生内核直接部署,或用 transformers>=5.22.2 加载,max-model-len 支持 32768。 发布者推荐采样参数为 temperature=1.0、top_p=0.95、top_k=64;推理强度通过系统提示词设置(low/medium/high/xhigh),其称编码和 agentic 任务建议使用 high/xhigh。
AI 根据报道生成 · 9 天前更新
报道时间线
沿着报道,了解事件的不同侧面。
- Hugging Face · 新模型:uncensoredelectroglyph/Muse-Glimmer-30B-uncensored2 的 AutoRound W4A16 量化版发布
electroglyph/Muse-Glimmer-30B-uncensored2 现有 AutoRound W4A16 量化版本(4-bit 权重、group_size=128、symmetric),基于 Intel AutoRound 的 SignRound 调优,使用 512 个样本、seqlen=2048、iters=1000 进行校准。模型可通过 vLLM 原生内核直接部署,或用 transformers>=5.22.2 加载,max-model-len 支持 32768。推荐采样参数为 temperature=1.0、top_p=0.95、top_k=64,推理强度可在系统提示词中设置,编码和 agentic 任务建议使用 high/xhigh。