跳到正文
热点事件观察中

0bserverx 发布 Nanbeige4.3-33B 去拒绝消融版及 16-24 GB 显存 GGUF 量化

2 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

0bserverx 基于 Nanbeige4.3-33B-RVN 发布去拒绝消融版本,采用 heretic 的全权重 ARA 方法,实测 100 条有害提示的拒绝率从 95 降到 0,无害提示回答数保持 97/97 不变,与原版 KL 为 0.0115。BF16 权重单独成库,GGUF 量化文件在配套仓库,按 16/20/24 GB 显存分档提供,许可证为 Apache-2.0。 主推 11.6 GB 的 RCO 2.60bpw 混合精度版本,称可在 16 GB 显卡上跑 16K 上下文,实测显存占用 13,081 MiB,PPL 25.51(较 F16 +3.8%),优于同尺寸纯 IQ2_S 的 26.57。模型卡说明该版本有意降低安全护栏,不适合需要强安全过滤、内容审核或面向未成年人的应用,部分护栏仍被保留;并指出 2.6-bit 量化会使答案落入未闭合思考块的比例从 8/100 翻倍到约 20/100,可用 --reasoning-format none 等方式规避。

AI 根据报道生成 · 48 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. Hugging Face · 新模型:uncensored精选
    Nanbeige4.3-33B 去拒绝版 GGUF 量化发布,附带 ARA 消融与 RCO 分配实测数据

    0bserverx 发布了 Nanbeige4.3-33B-RVN 的去拒绝消融版 GGUF,用 heretic 的全权重 ARA 方法将 100 条有害提示的拒绝率从 95 降到 0,同时保持无害提示回答数不变(97/97)。仓库按 16/20/24 GB 显存分档提供量化文件,主打 11.6 GB 的 RCO 2.60bpw 混合精度版本,16K 上下文下实测 13,081 MiB 显存占用,PPL 25.51(较 F16 +3.8%),优于同尺寸纯 IQ2_S(26.57)。模型卡给出完整复现流程,并指出 2.6-bit 量化会使答案落入未闭合思考块的比例从 8/100 翻倍到约 20/100,提供 --reasoning-format none 等规避方法。许可证为 Apache-2.0。

  2. Hugging Face · 新模型:uncensored精选
    0bserverx 发布 Nanbeige4.3-33B 去对齐版本,附 16-24 GB 显卡可用 GGUF 量化包

    0bserverx 发布基于 Nanbeige4.3-33B 的拒绝消融版本 BF16 权重,并在配套仓库提供 16-24 GB 显存 GPU 可用的 GGUF 量化包,主推 11.6 GB 的 RCO 2.60bpw 版本可在 16 GB 显卡跑 16K 上下文。实测显示有害提示拒绝率从原版 95/100 降到 0/100,与原版 KL 为 0.0115;消融采用 heretic ARA 全权重搜索,量化用 RCO 按 tensor 分配位宽。已知问题为部分回答留在未闭合的思考块中,可用 --reasoning-format none 等方式规避。许可证为 Apache-2.0。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。