IndrasMirror 发布 DeepSeek-V4.1-Flash-1017 GSQ 无对齐量化版,152 GB 可在单张 RTX 4090 上运行
IndrasMirror 发布 DeepSeek-V4.1-Flash-1017 的 GSQ 混合层级量化无对齐版本,552B 参数 MoE 压缩到 152 GB,可在 RTX 4090(24 GB)加 90 GB 内存的家用 PC 上以 12–13 tok/s 解码运行。模型对专家采用 ternary/2-bit/3-bit 混合量化(平均 2.093 bpw),并施加 mrfakename 风格的 rank-2 拒绝方向编辑;行为探针显示 chat 模式 100 个有害与 100 个安全样本均 0 次拒绝,think 模式同样 0 次拒绝。
推荐理由:卡片给出了量化前后困惑度对比、拒绝探针和速度实测数据,读者可以据此判断这个 152 GB 版本在消费级硬件上的真实质量。