去审查版 DeepSeek-V4-Pro-Qwen3.5-9B 的 ROCmFPX GGUF 量化上传至 Hugging Face
先了解这件事
Hugging Face 用户 Harsha001 上传了 xtools-at 去审查版 DeepSeek-V4-Pro-Qwen3.5-9B 的 ROCmFPX GGUF 量化文件。该模型是 9B 视觉语言推理模型,由 Jackrong 基于 Qwen3.5-9B 用 DeepSeek-V4-Pro 蒸馏微调,量化前经 Heretic 处理移除了安全训练,上传方明确标注该警告。 8-bit 版本为 9.6 GB,上传方称其与 BF16 的 top token 一致率为 99.3%,KL 散度 0.00018,优于原版 Q8_0;拒绝率测试中,10 个安全模型通常会拒绝的请求和 8 个听起来有风险但无害的问题均无一被拒绝。这些数据来自上传方,未被独立验证。 该文件需 2026 年 11 月 7 日及以后的 HarshaVardhan3002/ROCmFPX fork 才能加载,原版 llama.cpp、LM Studio、Ollama 及更早的 ROCmFPX 构建均不支持。文件仅在 NVIDIA GB10 GPU 和 CPU 上做过简要测试,AMD 硬件尚未验证。
AI 根据报道生成 · 6 天前更新
报道时间线
沿着报道,了解事件的不同侧面。
- Hugging Face · 新模型:uncensoredDeepSeek-V4-Pro-Qwen3.5-9B Uncensored ROCmFPX GGUF 量化版上传至 Hugging Face
Hugging Face 用户 Harsha001 上传了 xtools-at 去审查版 DeepSeek-V4-Pro-Qwen3.5-9B(9B 视觉语言推理模型,由 Jackrong 基于 Qwen3.5-9B 用 DeepSeek-V4-Pro 蒸馏微调)的 ROCmFPX GGUF 量化文件,经 Heretic 处理移除了安全训练。8-bit 版本 9.6 GB,与 BF16 的 top token 一致率 99.3%,KL 散度 0.00018,优于原版 Q8_0;需 2026 年 11 月 7 日及以后的 ROCmFPX fork 加载,原版 llama.cpp、LM Studio、Ollama 不支持。文件仅在 NVIDIA GB10 GPU 和 CPU 上做过简要测试,AMD 硬件尚未验证。