huihui-ai 发布 Qwen3.8-27B 去审查版及多个第三方量化衍生版本
先了解这件事
huihui-ai 基于 Qwen/Qwen3.8-27B,用 abliteration 技术发布去除拒绝回复行为的去审查版 Huihui-Qwen3.8-27B-abliterated 及其 GGUF 量化版本。发布方称这是测试/验证版本,安全过滤显著降低,建议仅用于研究、测试或受控环境,避免用于生产或面向公众的商业应用。 消融范围上,abliterated 主版本为第 18 至 51 层(此前保留前 15 层不做消融);GGUF 各系列(UD、GSQ-RCO、Ternary、Swift 等)仅对 0 起始索引的第 22 至 52 层做消融,MTP 与视觉部分未改动。运行方面,三元混合注意力内核位于 PrismML-Eng/llama.cpp 分支,原版 llama.cpp 无法运行这些文件;ollama 用户需使用最新版本,可通过 huihui_ai/Qwen3.8-abliterated 直接拉取。针对 Q8_0 以下量化,K_L 系列将 token_embd、output、ffn_down 等张量转为 Q8_0,Q8_0_L 版则改为 BF16,以提升回复质量。 另有多个第三方衍生发布:fyb1214 将 Abliterated Swift-1.5 GSQ-RCO GGUF 系列重新打包为 NInfer 单文件 .ninfer 格式,发布 IQ2_XS、IQ2_S、IQ3_XXS、IQ3_S 四个档位,仅托管在 Hugging Face、未同步至 ModelScope,该仓库只做格式转换、未重新量化或再训练;davetha 发布 AutoRound INT4 量化构建,面向单张 32 GB Intel Arc Pro B70 在 vLLM XPU 下运行,权重约占 14.75 GiB;AI-conn 上传了 GGUF 仓库的 Apache-2.0 分叉以防副本被改动,并推荐 20 GB 显存显卡使用 UD-DW-Q4_K_M 文件;iAcloud 发布针对 16 块 RBLN-CA25 NPU 的预编译版,称运行时加载与生成精度尚未测试。
AI 根据报道生成 · 11 小时前更新
事件进展
11 个进展
- 10月19日 01:00 · 1 篇报道发布 Qwen3.8-27B abliterated RTX3080 MTP 实测Hugging Face · 新模型:abliterated:RTX 3080 20 GB 实测 Qwen3.8-27B 两个 abliterated 量化版的 MTP 速度与困惑度对比
- 10月15日 23:03 · 1 篇报道发布 Qwen3.8-27B-abliterated 的 RBLN 编译版Hugging Face · 新模型:abliterated:Huihui-Qwen3.8-27B-abliterated 发布 RBLN 编译版,适配 16× RBLN-CA25 NPU
- 10月15日 00:05 · 5 篇报道发布 Qwen3.8-27B abliterated GGUF 去对齐模型Hugging Face · 新模型:abliterated:Huihui-Qwen3.8-27B-abliterated GGUF 发布:Qwen3.8-27B 去审查版本
- 10月14日 02:28 · 1 篇报道huihui-ai 发布 Qwen3.8-27B abliterated GGUF 去对齐版本Hugging Face · 新模型:abliterated:karlsencoin 发布 Karlsen-Chat-27B-abliterated GGUF:Qwen3.8-27B 去审查版本
- 10月12日 18:48 · 3 篇报道发布 Qwen3.8-27B abliterated GGUF 去对齐量化版Hugging Face · 新模型:abliterated:Huihui-Qwen3.8-27B-abliterated GGUF 发布:Qwen3.8-27B 去审查版本
- 10月12日 04:20 · 1 篇报道AI-conn fork 消融版 Qwen3.8-27B GGUF 并附显存适配说明Hugging Face · 新模型:abliterated:Huihui-Qwen3.8-27B-abliterated GGUF 分叉版本上传至 Hugging Face
- 10月9日 14:21 · 4 篇报道Huihui-Qwen3.8-27B abliterated GGUF 更新Hugging Face · 新模型:abliterated:Huihui-Qwen3.8-27B-abliterated GGUF 量化版本更新
- 10月9日 01:32 · 1 篇报道发布 Qwen3.8-27B 消融版 INT4 量化模型Hugging Face · 新模型:abliterated:davetha 发布 Huihui-Qwen3.8-27B-abliterated 的 AutoRound INT4 量化版,可单卡 Intel Arc Pro B70 运行
- 10月6日 04:40 · 1 篇报道发布 Qwen3.8-27B abliterated 去审查版Hugging Face · 新模型:abliterated:Huihui-Qwen3.8-27B-abliterated:Qwen3.8-27B 去审查版本在 Hugging Face 发布
- 10月4日 23:25 · 1 篇报道发布 Huihui Qwen3.8-27B Abliterated NInfer 重打包版Hugging Face · 新模型:abliterated:Huihui-Qwen3.8-27B Abliterated Swift-1.5 GSQ-RCO 发布 NInfer 单文件格式
- 10月3日 19:58 · 4 篇报道发布 Qwen3.8-27B 消融版 GGUF 量化权重Hugging Face · 新模型:abliterated:Huihui-Qwen3.8-27B-abliterated GGUF 发布:去审查版 Qwen3.8-27B
报道时间线
沿着报道,了解事件的不同侧面。
- Hugging Face · 新模型:abliteratedHuihui-Qwen3.8-27B-abliterated GGUF 发布:去审查版 Qwen3.8-27B
huihui-ai 基于 Qwen/Qwen3.8-27B 发布去审查(abliterated)版本 Huihui-Qwen3.8-27B-abliterated-GGUF,仅消融第 22 至 52 层(0 起始索引),MTP 与视觉部分未改动。多个系列(Underdog-Saluki、Swift、Ternary、GSQ-RCO、UD 等)陆续追加,部分量化将 token_embd、output、ffn_down 等待消融权重转为 Q8_0 并命名为 Q2_K_L 至 Q6_K_L。模型可通过最新版 ollama 运行 huihui_ai/Qwen3.8-abliterated,llama.cpp 支持上下文长度 262144,官方提示输出可能含敏感内容,建议用于研究测试场景。
- Hugging Face · 新模型:abliteratedHuihui-Qwen3.8-27B-abliterated-GGUF 发布:Qwen3.8-27B 去审查版本
huihui-ai 基于 Qwen/Qwen3.8-27B 通过 abliteration 技术移除拒绝行为,发布无审查版 Huihui-Qwen3.8-27B-abliterated-GGUF。该版本仅对第 22 至 52 层(0 起始索引)做消融,其余层保持不变,并提供 Q2_K_L 至 Q8_0_L 等多种量化格式,可通过最新版 ollama(huihui_ai/Qwen3.8-abliterated)或 llama.cpp 运行,支持 -c 262144。模型安全过滤大幅降低,建议用于研究测试环境。
- Hugging Face · 新模型:abliteratedHuihui-Qwen3.8-27B-abliterated-GGUF 发布:Qwen3.8-27B 去审查版本
huihui-ai 发布基于 Qwen/Qwen3.8-27B 的 abliterated 去审查 GGUF 版本,通过 abliteration 技术移除模型拒绝回答的行为,仅消融部分层(如第 22 至 52 层,0 起始索引),MTP 与视觉部分未改动。提供 Q2_K_L 至 Q8_0_L 等多种量化,其中需消融的权重已转为 Q8_0 或 BF16 以提升回复质量,支持 262144 上下文长度,可通过最新版 ollama(huihui_ai/Qwen3.8-abliterated)或 llama.cpp 运行。模型安全过滤大幅降低,建议用于研究测试而非生产环境。
- Hugging Face · 新模型:abliteratedHuihui-Qwen3.8-27B-abliterated GGUF 发布:Qwen3.8-27B 去审查版本
huihui-ai 发布基于 Qwen/Qwen3.8-27B 的去审查(abliterated)GGUF 版本,通过 abliteration 技术移除模型拒绝回答行为,仅消融部分层(如第 22 至 52 层,0 起始索引),MTP 与视觉部分未改动。提供 Q2_K_L 至 Q8_0_L 等多种量化格式,可通过最新版 ollama(huihui_ai/Qwen3.8-abliterated)或 llama.cpp 运行,支持 -c 262144 上下文;模型安全过滤大幅降低,建议用于研究测试而非生产环境。
- Hugging Face · 新模型:abliteratedRTX 3080 20 GB 实测 Qwen3.8-27B 两个 abliterated 量化版的 MTP 速度与困惑度对比
作者在单张 RTX 3080 20 GB 上用 llama.cpp 实测了 Qwen3.8-27B 的 Huihui 与 Heretic RVN 两个 abliterated 量化版本,仓库不含模型权重。结果显示 RVN IQ4_XS 在 MTP 下最快(代码 69.4 tok/s、散文 58.2 tok/s,比 Huihui 快约 5–7%),德语困惑度略低,通过 88.6K 上下文与全部 6 项工具调用测试,但多占 1.1 GB 显存导致 n-max 3 无法启动;MTP 草稿深度 n-max 2 是综合最优设置,MTP 对 prefill 无帮助反而约损失 5%。
- Hugging Face · 新模型:abliteratedHuihui-Qwen3.8-27B-abliterated GGUF 发布:Qwen3.8-27B 去审查版本
huihui-ai 发布 Qwen/Qwen3.8-27B 的 abliterated 去审查版本,通过 abliteration 技术移除模型拒绝回答的行为,仅消融部分层(如 22 至 52 层),MTP 与视觉部分未改动。提供 Q2_K_L 至 Q8_0_L 等多种量化格式,可通过最新版 ollama(huihui_ai/Qwen3.8-abliterated)或 llama.cpp 运行,支持 -c 262144 上下文。模型安全过滤大幅降低,建议用于研究测试而非生产环境。
- Hugging Face · 新模型:abliteratedHuihui-Qwen3.8-27B-abliterated GGUF 发布:Qwen3.8-27B 去审查版本
huihui-ai 发布 Qwen/Qwen3.8-27B 的 abliterated 去审查 GGUF 版本,通过 abliteration 技术移除模型拒答行为,仅对部分层(如 22 至 52 层)做消融,MTP 与视觉部分未改动。提供 Q2_K_L 至 Q8_0_L 等多种量化格式,支持最新版 ollama(huihui_ai/Qwen3.8-abliterated)和 llama.cpp(-c 262144),适合研究测试用途。
- Hugging Face · 新模型:abliteratedHuihui-Qwen3.8-27B-abliterated 发布 RBLN 编译版,适配 16× RBLN-CA25 NPU
iAcloud 发布 huihui-ai/Huihui-Qwen3.8-27B-abliterated 的 RBLN 预编译版本,使用 optimum-rbln 0.11.2 针对 16 块 Rebellions RBLN-CA25 NPU 编译,支持 262,144 上下文长度和 batch-1 解码,编译耗时 990.9 秒,产物约 55.8 GiB。该版本为编译验证版而非推理基准,运行时加载、生成与长上下文精度尚未测试,需 RBLN NPU 和 RBLN SDK,采用 Apache-2.0 许可。
- Hugging Face · 新模型:abliteratedHuihui-Qwen3.8-27B-abliterated-GGUF:Qwen3.8-27B 去审查版本发布
huihui-ai 基于 Qwen/Qwen3.8-27B 通过 abliteration 技术去除拒绝回复,发布 Huihui-Qwen3.8-27B-abliterated-GGUF 无审查版本,仅消融部分层(如第 22 至 52 层,0 起始索引),其余层保持原样。提供 Q2_K_L 至 Q8_0_L 等多种量化格式,其中低精度版本将 token_embd、output、ffn_down 等需消融权重转回 Q8_0 或 BF16 以提升回复质量;MTP 与视觉部分未改动。可通过 ollama(huihui_ai/Qwen3.8-abliterated)或最新 llama.cpp 运行,支持 -c 262144,模型安全过滤大幅降低,建议仅用于研究测试环境。
- Hugging Face · 新模型:abliteratedkarlsencoin 发布 Karlsen-Chat-27B-abliterated GGUF:Qwen3.8-27B 去审查版本
huihui-ai 基于 abliteration 技术推出 Qwen3.8-27B 的去审查 GGUF 版本,仅对第 22 到 52 层(0 起始索引)做消融,其余层保留原样,MTP 与视觉部分未修改。多个衍生系列分别来自 unsloth、ISTA-DASLab、prism-ml、ukisai 和 ConwayResearch 的 GGUF 权重,其中 Q2_K_L 至 Q6_K_L 版本将待消融张量 requantize 到 Q8_0 以提升回复质量。模型可通过最新版 ollama(huihui_ai/Qwen3.8-abliterated)或 llama.cpp 运行,支持 -c 262144 上下文,官方建议仅用于研究测试而非生产环境。
- Hugging Face · 新模型:abliteratedHuihui-Qwen3.8-27B-abliterated-GGUF:Qwen3.8-27B 去审查版发布
huihui-ai 基于 Qwen/Qwen3.8-27B 通过 abliteration 技术去除拒绝回复,发布 Huihui-Qwen3.8-27B-abliterated-GGUF 无审查版本,仅对 22 至 52 层(0 起始索引)做消融,其余层保持原样。针对 Q8_0 以下量化版本,将 token_embd、output、ffn_down、ssm_out、attn_output 等张量转换为 Q8_0 并命名为 K_L 系列,Q8_0 版则改为 BF16 并命名 Q8_0_L。模型可经 ollama(huihui_ai/Qwen3.8-abliterated)运行,llama.cpp 需最新版,上下文长度 262144。
- Hugging Face · 新模型:abliteratedHuihui-Qwen3.8-27B-abliterated-GGUF:Qwen3.8-27B 去审查版本发布
huihui-ai 基于 Qwen/Qwen3.8-27B 通过 abliteration 技术去除拒绝回复,发布 Huihui-Qwen3.8-27B-abliterated-GGUF。该版本仅对第 22 至 52 层(0 起始索引)做消融,并新增 Underdog-Saluki、Swift、Ternary、GSQ-RCO、UD-DW 等系列,其中部分量化将需消融权重转为 Q8_0 以提升响应质量,MTP 和视觉部分未改动。模型支持最新 ollama(huihui_ai/Qwen3.8-abliterated)和 llama.cpp(上下文 262144),因安全过滤大幅减弱,建议仅用于研究或测试环境。
- Hugging Face · 新模型:abliteratedHuihui-Qwen3.8-27B-abliterated GGUF 分叉版本上传至 Hugging Face
AI-conn 在 Hugging Face 上传了 huihui-ai 制作的 Huihui-Qwen3.8-27B-abliterated-GGUF 分叉,基于 Qwen/Qwen3.8-27B,采用去除拒绝方向的 abliteration 方法,许可证为 Apache-2.0。在 20 GB 显存的 RX 7900 XT 上,推荐文件 UD-DW-Q4_K_M(15.41 GiB)8k 上下文约占 17.1 GiB、16k 约占 18.1 GiB,均可完全常驻显存。该文件是审核中唯一在 20 GB 显卡上留有 16k 上下文余量的顶级无审查版本,可通过 ollama pull 直接拉取。
- Hugging Face · 新模型:abliteratedHuihui-Qwen3.8-27B-abliterated-GGUF 发布:基于 Qwen3.8-27B 的去审查版本
huihui-ai 基于 Qwen/Qwen3.8-27B 发布去审查(abliterated)的 GGUF 版本 Huihui-Qwen3.8-27B-abliterated,无需 TransformerLens 移除模型拒答,MTP 与视觉部分未改动。后续多个系列仅对第 22 至 52 层(0 起始索引)做消融,其余层保留,并提供 Q2_K_L 至 Q6_K_L 及 Q8_0_L 的特殊量化以提升回复质量。模型可通过 ollama(huihui_ai/Qwen3.8-abliterated)或 llama.cpp 运行,支持 -c 262144,仅建议研究测试用途。
- Hugging Face · 新模型:abliteratedHuihui-Qwen3.8-27B-abliterated GGUF 版本发布:基于 Qwen3.8-27B 去除拒答
Huihui-ai 发布基于 Qwen/Qwen3.8-27B 的去审查(abliterated)GGUF 版本 Huihui-Qwen3.8-27B-abliterated,通过 abliteration 技术移除模型拒答行为。多个衍生系列仅对 0 起始索引的第 22 到 52 层做消融,并采用 Q2_K_L 至 Q8_0_L 等混合量化以提升响应质量;MTP 与视觉部分未修改。可通过最新版 ollama 或 llama.cpp 运行(-c 262144),官方提示安全过滤已大幅降低,建议仅用于研究测试环境。
- Hugging Face · 新模型:abliteratedHuihui-Qwen3.8-27B-abliterated GGUF 量化版本更新
Huihui-ai 发布 Qwen/Qwen3.8-27B 的 abliterated 去审查版 GGUF 量化模型,多次更新新增 UD、UD-DW、GSQ-RCO、Ternary、Swift 等系列,其中部分版本仅消融第 22 至 52 层(0 起始索引)。模型提供 Q2_K_L 至 Q8_0_L 等量化格式,支持上下文长度 262144,可通过最新版 ollama(huihui_ai/Qwen3.8-abliterated)或 llama.cpp 运行。官方提示安全过滤已显著降低,建议仅用于研究和测试环境。
- Hugging Face · 新模型:abliterated精选davetha 发布 Huihui-Qwen3.8-27B-abliterated 的 AutoRound INT4 量化版,可单卡 Intel Arc Pro B70 运行
davetha 在 Hugging Face 发布了 huihui-ai/Huihui-Qwen3.8-27B-abliterated(基于 Qwen/Qwen3.8-27B 的去拒绝版本)的 4-bit AutoRound 量化构建,采用 INT4 主体加 baked lm_head/MTP 和 INT8 embedding,面向单张 Intel Arc Pro B70(32 GB)在 vLLM XPU 下运行。
- Hugging Face · 新模型:abliteratedHuihui-Qwen3.8-27B-abliterated GGUF 版本发布
huihui-ai 基于 Qwen/Qwen3.8-27B 发布经 abliteration 处理的去审查 GGUF 版本 Huihui-Qwen3.8-27B-abliterated-GGUF,MTP 与视觉部分未修改。多个系列(UD、GSQ-RCO、UD-DW、Ternary、Swift)仅对第 22-52 层(0 起始索引)做 abliteration,其余层保留原样;Q2_K_L-Q6_K_L 等版本将需 abliteration 的权重转为 Q8_0 以提升回复质量。该模型安全过滤大幅降低,仅建议用于研究与测试,可在最新版 ollama 和 llama.cpp 中运行。
- Hugging Face · 新模型:abliteratedHuihui-Qwen3.8-27B-abliterated GGUF 发布:Qwen3.8-27B 去审查版本
huihui-ai 发布 Qwen/Qwen3.8-27B 的 abliterated 去审查版本,以 GGUF 格式提供,仅对部分层(如 22 至 52 层)做 abliteration 处理,其余层保持不变,并推出 Swift、Ternary、GSQ-RCO、UD-DW 等多个系列。
- Hugging Face · 新模型:abliteratedHuihui-Qwen3.8-27B-abliterated:Qwen3.8-27B 去审查版本在 Hugging Face 发布
huihui-ai 基于 abliteration 技术发布 Qwen/Qwen3.8-27B 的去审查版本 Huihui-Qwen3.8-27B-abliterated,无需 TransformerLens 即可移除模型拒绝行为。
- Hugging Face · 新模型:abliteratedHuihui-Qwen3.8-27B-abliterated-GGUF:Qwen3.8-27B 去审查版发布
huihui-ai 基于 Qwen/Qwen3.8-27B 通过 abliteration 技术去除拒绝回复,发布无审查版 Huihui-Qwen3.8-27B-abliterated-GGUF,仅对 22 至 52 层(0 起始索引)做消融,其余层保持原样。
- Hugging Face · 新模型:abliteratedHuihui-Qwen3.8-27B Abliterated Swift-1.5 GSQ-RCO 发布 NInfer 单文件格式
fyb1214 将 huihui-ai 的 Huihui-Qwen3.8-27B Abliterated Swift-1.5 GSQ-RCO GGUF 系列重新打包为 NInfer 引擎可用的单文件 .ninfer 容器,共发布 IQ2_XS、IQ2_S、IQ3_XXS、IQ3_S 四个量化档位,文件从 8.76 GiB 到 11.91 GiB 不等,其中 IQ3_S 档需要 16 GB 以上显存或卸载。该仓库仅做格式转换,abliteration(第 22–52 层去拒绝方向消融)由 huihui-ai 完成,文本塔无重新量化或再训练。模型仅在 Hugging Face 发布,安全过滤大幅降低,仅建议用于研究和受控环境。
- Hugging Face · 新模型:abliteratedHuihui-Qwen3.8-27B-abliterated GGUF 发布:去审查版 Qwen3.8-27B
huihui-ai 基于 Qwen/Qwen3.8-27B 用 abliteration 技术制作去审查版 GGUF 模型,仅对部分层(如 22 至 52 层)做消融,MTP 与视觉部分未改动。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 1010月26日 22:00
- 近 24 小时变化
- +28%
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。