跳到正文
热点事件历史事件

electroglyph 发布 Muse-Glimmer-30B-uncensored2 的 W4A16 量化版

1 篇报道1 个报道来源12 天前更新

先了解这件事

AI 综述

electroglyph 在 Hugging Face 发布了 Muse-Glimmer-30B-uncensored2 的 AutoRound W4A16 量化版本(4-bit 权重、group_size=128、symmetric)。 量化基于 Intel AutoRound 的 SignRound 在校准数据上调优(非 RTN),使用 512 个样本、seqlen=2048、iters=1000 进行校准。模型可通过 vLLM 原生内核直接部署,或用 transformers>=5.22.2 加载,max-model-len 支持 32768。 发布者推荐采样参数为 temperature=1.0、top_p=0.95、top_k=64;推理强度通过系统提示词设置(low/medium/high/xhigh),其称编码和 agentic 任务建议使用 high/xhigh。

AI 根据报道生成 · 9 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月10日
  1. Hugging Face · 新模型:uncensored
    electroglyph/Muse-Glimmer-30B-uncensored2 的 AutoRound W4A16 量化版发布

    electroglyph/Muse-Glimmer-30B-uncensored2 现有 AutoRound W4A16 量化版本(4-bit 权重、group_size=128、symmetric),基于 Intel AutoRound 的 SignRound 调优,使用 512 个样本、seqlen=2048、iters=1000 进行校准。模型可通过 vLLM 原生内核直接部署,或用 transformers>=5.22.2 加载,max-model-len 支持 32768。推荐采样参数为 temperature=1.0、top_p=0.95、top_k=64,推理强度可在系统提示词中设置,编码和 agentic 任务建议使用 high/xhigh。