跳到正文
热点事件历史事件

mlx-community 发布 DeepSeek-V4-Pro 去审查 9B 模型的 OptiQ 4bit 量化版

1 篇报道1 个报道来源12 天前更新

先了解这件事

AI 综述

mlx-community 基于 xtools-at/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic 发布了 OptiQ 混合精度量化版,占用 7.7 GB,可在 Apple Silicon 上本地运行。据发布页称,转换后与 bf16 模型对照验证,答案一致。 该模型是一个去审查(heretic)版本,来自将 DeepSeek-V4-Pro 推理能力蒸馏到 Qwen3.5 的 9B 视觉语言模型。量化中 116 个组件采用 4-bit、134 个采用 8-bit,保留 MTP 推测头与 bf16 视觉塔,支持图像输入,并兼容 OpenAI 与 Anthropic 的 API 端点。

AI 根据报道生成 · 5 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月11日
  1. Hugging Face · 新模型:uncensored
    DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic 发布 OptiQ 4bit 量化版

    mlx-community 基于 xtools-at/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic 发布 OptiQ 混合精度量化版,占用 7.7 GB。该模型为 Qwen3.5 系列视觉语言模型,共 116 个组件采用 4-bit、134 个采用 8-bit,保留 MTP 推测头与 bf16 视觉塔,支持图像输入和兼容 OpenAI 与 Anthropic 的 API 端点。转换后与 bf16 模型对照验证,答案一致,可在 Apple Silicon 上本地运行。