跳到正文
热点事件历史事件

去审查版 DeepSeek-V4-Pro-Qwen3.5-9B 的 ROCmFPX GGUF 量化上传至 Hugging Face

1 篇报道1 个报道来源12 天前更新

先了解这件事

AI 综述

Hugging Face 用户 Harsha001 上传了 xtools-at 去审查版 DeepSeek-V4-Pro-Qwen3.5-9B 的 ROCmFPX GGUF 量化文件。该模型是 9B 视觉语言推理模型,由 Jackrong 基于 Qwen3.5-9B 用 DeepSeek-V4-Pro 蒸馏微调,量化前经 Heretic 处理移除了安全训练,上传方明确标注该警告。 8-bit 版本为 9.6 GB,上传方称其与 BF16 的 top token 一致率为 99.3%,KL 散度 0.00018,优于原版 Q8_0;拒绝率测试中,10 个安全模型通常会拒绝的请求和 8 个听起来有风险但无害的问题均无一被拒绝。这些数据来自上传方,未被独立验证。 该文件需 2026 年 11 月 7 日及以后的 HarshaVardhan3002/ROCmFPX fork 才能加载,原版 llama.cpp、LM Studio、Ollama 及更早的 ROCmFPX 构建均不支持。文件仅在 NVIDIA GB10 GPU 和 CPU 上做过简要测试,AMD 硬件尚未验证。

AI 根据报道生成 · 6 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月10日
  1. Hugging Face · 新模型:uncensored
    DeepSeek-V4-Pro-Qwen3.5-9B Uncensored ROCmFPX GGUF 量化版上传至 Hugging Face

    Hugging Face 用户 Harsha001 上传了 xtools-at 去审查版 DeepSeek-V4-Pro-Qwen3.5-9B(9B 视觉语言推理模型,由 Jackrong 基于 Qwen3.5-9B 用 DeepSeek-V4-Pro 蒸馏微调)的 ROCmFPX GGUF 量化文件,经 Heretic 处理移除了安全训练。8-bit 版本 9.6 GB,与 BF16 的 top token 一致率 99.3%,KL 散度 0.00018,优于原版 Q8_0;需 2026 年 11 月 7 日及以后的 ROCmFPX fork 加载,原版 llama.cpp、LM Studio、Ollama 不支持。文件仅在 NVIDIA GB10 GPU 和 CPU 上做过简要测试,AMD 硬件尚未验证。