ISTA-DASLab Qwen3.8-Flash-Next-GSQ-RCO-Coder GGUF 量化更新发布
ISTA-DASLab 的 Qwen3.8-Flash-Next-GSQ-RCO-Coder GGUF 量化更新了专家保留策略,约 25% 的保留专家与上一版不同,但未修改相对基础 IQ3_S 模型的任何保留权重。该模型仍仅支持英文,在有限专家预算下优先保住了英文能力,多语言能力未能保留。
新闻、仓库与研究,按时间排列。
ISTA-DASLab 的 Qwen3.8-Flash-Next-GSQ-RCO-Coder GGUF 量化更新了专家保留策略,约 25% 的保留专家与上一版不同,但未修改相对基础 IQ3_S 模型的任何保留权重。该模型仍仅支持英文,在有限专家预算下优先保住了英文能力,多语言能力未能保留。
Reddit 用户用 Qwen 3.8 27B 的 LoRA 决策模型 Herbert(已合并为 gguf)驱动一个贪吃蛇游戏,模型每步从左转、右转、直行三个选项中决策,单次决策约 600ms。测试经 ssh 隧道连接 5090 + 64GB RAM 服务器,一次运行存活 370 ticks,此前最好成绩超 2200 ticks,经 llama.cpp 以 Q4_K_M 量化、200000 上下文运行。
Bria 发布 Fibo 2.0 Edit Turbo 开源权重模型,是从 Fibo 2.0 Dev 蒸馏出的专用图像编辑模型,4 步推理且无需 classifier-free guidance 即可出图。据 Artificial Analysis Image Arena 2026 年 10 月 20 日排名,它在开放权重图像编辑模型中位列第一。模型为 8B 参数 flow-matching 架构,基于 FLUX.2 VAE 潜空间,用 Qwen3-VL-4B-Instruct 编码提示词,训练数据全部为授权数据;许可证为 CC BY-NC 4.0,商用需与 BRIA 另行协议。支持普通编辑、掩码编辑和最多 4 张参考图编辑,官方也预告了多轮编辑、背景去除、商品图 LoRA 等后续组件。
ReadyArt 发布 Swish 26B A4B 模型,基于 Dark Scarlett 和 Wicked Tutu 两套数据集训练,前者以深度角色回应著称,后者被作者称为其制作过的最露骨的数据集。作者称两者结合使模型整体保留尺度但质量不错,并计划视时间和资金情况推出 27B 和 31B 版本。
XHToken 在 Spark-X2.5-4B 基础上推出端侧部署模型 Spark-X2.6-4B,架构不变,靠改进后训练提升编码、Agent、长上下文、多语言与推理能力,在同级开源模型中达到 SOTA,可匹敌或超越约 9B 参数的模型。模型提供 none、low、high 三档可控思考预算,支持最大 1,048,576 token 上下文,推理效率不低于 Qwen3.5-4B 和 Gemma-E4B,并可在 SGLang、vLLM 上部署。
KaedeTai 在 Hugging Face 上公开了 qwen3.8-flash-next-swift-uncensored-mtp-mlx-4bit-zhTW 模型仓库。该仓库可公开访问,但用户需登录并同意分享联系信息、接受相关条件后才能下载模型文件和内容。
Infatoshi 在 Hugging Face 上架 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored,并附上 Native MXFP4、NVFP4 target 与 EXL3 2.875/3.5 多组并发基准。Native MXFP4 在 32 并发下聚合吞吐达 831.66 tokens/second,高于 NVFP4 的 796.13 与 EXL3 3.5 的 480.84;单并发时延方面 NVFP4 target 的 time_to_content_p50 为 0.32442 秒,略优于 Native MXFP4 的 0.34266 秒。
Hugging Face 上发布 DeepSeek-V4.1-Flash-1017-NVFP4-uncensored 的性能测试数据,对比 Native MXFP4、NVFP4 target、EXL3 2.875 与 EXL3 3.5 四种配置在不同并发下的吞吐与延迟。Native MXFP4 在 32 并发时达 831.66 tokens/second,NVFP4 target 为 796.13 tokens/second,EXL3 3.5 为 480.84 tokens/second。
Hugging Face 上架 Infatoshi 发布的 DeepSeek-V4.1-Flash-1017-EXL3-2.875bpw-uncensored 量化模型。附带的基准数据显示,EXL3 2.875 配置在并发 1 时生成速度约 125.86 tokens/秒,并发 32 时约 452.16 tokens/秒;对比数据还包含 Native MXFP4(并发 32 达 831.66 tokens/秒)、NVFP4 target 及 EXL3 3.5 等配置的吞吐与首字延迟表现。
Hugging Face 用户 Infatoshi 发布 DeepSeek-V4.1-Flash-1017 的 EXL3 3.5bpw 无审查(uncensored)量化版本。附带的基准测试显示,Native MXFP4 在 32 并发下聚合吞吐达 831.66 tokens/second,EXL3 3.5 在 32 并发下达 480.84 tokens/second,同时给出各并发数下的 time_to_content_p50 等延迟数据。
davemahoney69/Coder-1.5B-Abliterated-Merge-Q4 的 Q4_K_M 量化版本已上架 Hugging Face,可通过 llama.cpp 本地运行,支持启动 OpenAI 兼容服务器或终端直接推理。该模型也可用 Ollama、Docker Model Runner、LM Studio、Jan 等工具加载,并可接入 Pi、Hermes Agent、OpenClaw 等智能体。
Hugging Face 上架了 davemahoney69/Coder-14B-Abliterated-Merge-Q4 的 Q4_K_M 量化版本,并给出 llama.cpp 使用方法。用户可通过 llama serve 或 llama cli 直接加载该模型,在本地启动 OpenAI 兼容服务器或终端推理,支持 macOS、Linux、Windows(WinGet)、预编译二进制、源码构建及 Docker 多种安装方式。
Mitroshenkov87 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3-4B-Instruct-2507-abliterated 的未修改备份镜像,该模型为基于 Qwen/Qwen3-4B-Instruct-2507 的指令微调写作模型。镜像文件与原仓库 commit c9bd4645 逐字节一致,采用 Apache-2.0 许可,作为 Voxprint 模型下载器的备用下载源。
Hugging Face 上架 GGUF 格式模型 Mitroshenkov87/voxprint-mirror-huihui-gemma-4-12b-it-abliterated-gguf,提供 Q4_K_M 量化版本。该模型可通过 llama.cpp、vLLM、Ollama、Docker Model Runner、Lemonade 等多种工具运行,支持启动 OpenAI 兼容 API 服务器或在终端直接推理,也可接入 Pi、Hermes Agent、OpenClaw 等智能体工具。
Mitroshenkov87 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3-VL-4B-Instruct-abliterated(commit ce72a7c)的未修改备份镜像,该模型是基于 Qwen/Qwen3-VL-4B-Instruct 的指令微调视觉语言描述模型。镜像文件与原仓库逐字节一致,采用 Apache-2.0 许可,作为 Voxprint 模型下载器的备用下载源。
Hugging Face 上架了 abliterated 版 Qwen3.8-Flash-Next 125B 的 .finch 安装包,供 out-of-core FinchMoE 引擎使用,将路由专家重打包为 2-bit affine 量化,并原样携带源模型的视觉塔(333 个 BF16 张量,约 0.836 GiB)。总声明大小约 74.70 GB,常驻权重 3.88 GB,默认 16 个 expert-cache 槽位下专家缓存约 1.10 GiB,可运行于 12–16 GB 设备,8 GB iPhone 无法运行;当前文本生成可用,视觉运行时尚未支持。许可证为 Qwen Community License 1.0。
XHToken 发布 Spark-X2.6-4B,是基于 Spark-X2.5-4B 的端侧通用语言模型,架构不变,通过改进后训练提升编码、Agent、长上下文、多语言和推理能力。该模型在同级开源模型中达到 SOTA,可匹敌约 9B 参数模型,支持 none/low/high 三档可控思考预算,最大上下文长度 1,048,576 tokens。模型权重已在 Hugging Face 开源,支持 Transformers 和 SGLang(含 NVIDIA GPU 与 Ascend NPU)推理部署。
Jaja2027 在 Hugging Face 上发布 Meta-Llama-3-8B-Instruct-abliterated-v3 模型,源自 failspy 的同名 abliterated 版本。模型采用 Safetensors 格式,参数规模 8B,张量类型为 BF16。
androidli 发布 GLM-5.3-Flash-Uncensored 的 EXL3 3.0bpw 量化包(mcg 码本),仅对每层 288 个 routed experts 量化,非路由张量保持源生精度,权重共 152 GB,面向 2× DGX Spark (GB10) 经 CX7 直连以 TP=2 运行。实测 EvalPlus 542 题 86.3%、GSM8K 98.0%、HumanEval 98.2%,与 Mia-AiLab 自报的 4bpw 版差异在噪声范围内;调优配置下 KV 池 3,891,200 tokens,前向延迟平均快约 15%。
推荐理由:作者实测了 3.0bpw 量化版与 4bpw 版的质量、KV 池和延迟对比,并标注了各数字对应的复现配置。
Hugging Face 上发布了 llmfan46 制作的 Qwen3.5-9B ultra-uncensored heretic 模型的修复版。修复内容包括:将权重重命名为标准 model.language_model.* 布局、从 Qwen/Qwen3.5-9B 移植未修改的 vision tower 和 MTP head,并将 48 个被误存为 BF16 的语言张量恢复为原版 F32 精度。
作者复盘72小时内四个开放权重模型发布:Meta Muse Spark Open(816B总参/42B激活/1M上下文,Artificial Analysis指数39)、NVIDIA Nemotron 3.5 Bolt(74B总参/9B激活,量化感知训练到2 bit,全模型22GB加1.7GB视觉投影器,专为24GB显存设计)、Reflection Beam(501B总参/23B激活,Apache 2.0)、DeepSeek V4.1 Flash 1017(MIT,官方表格DeepSWE 77.0对比Opus 5的74.0,仓库510GB)。作者指出许可证差异比参数量更关键,Meta要求署名且超2000万美元营收需另签协议,而卖24GB显卡的NVIDIA是唯一为24GB显存造模型的实验室。
Richard Erkhov 将 huihui-ai 的 Qwen2.5-Coder-1.5B-Instruct-abliterated 量化为多档 GGUF 版本,体积从 Q2_K 的 0.7GB 到 Q8_0 的 1.76GB。该模型是基于 Qwen2.5-Coder-1.5B-Instruct 的 abliterated 去审查版本,采用 apache-2.0 许可,评测显示 IF_Eval 45.41、MMLU Pro 20.57、GPQA 26.13。
Baekpica 将 dealignai 的 DeepSeek-V4.1-Flash-1017-UNCENSORED FP8 权重按 YoungAi 的 vq8sh14-q4k-mtpnative 配方原样转换为 VQ GGUF,基础文件约 113.6 GB,面向 128 GB DGX Spark,上下文保持原生 1,048,576 tokens。该量化约 1.6 bits per routed-expert weight,同配方在 V4.1 Flash 上与 FP8 模型 next token 一致率为 69–79%,质量与去审查行为可能下降。目标运行时为 ds4-dfm-rs,1017 Engram 表(2 × 101.5 GB)需从本地 SSD 读取。
bigfat 发布 DeepSeek-V4.1-Flash-Abliterated 的 DwarfStar Q2 GGUF 量化版本,基于 s-zaizen 用 Hereteric 对 deepseek-ai/DeepSeek-V4.1-Flash 去审查后的 checkpoint(拒绝关键词率 97/100 → 24/100)。提供 imatrix 校准版(推荐)与 bootstrap 版两个文件,imatrix 版 NLL 0.359,与原版 Q2(0.346)基本持平,需在 128 GB Mac 上用 --ssd-streaming 运行。
Bria 在 Hugging Face 发布 8B 参数的 Fibo 2.0 Dev,是首个将图像编辑与文生图统一在一套权重中的 FIBO 下一代模型,在 Artificial Analysis 的开放权重模型中排图像编辑第 1、文生图第 2(2026 年 10 月 20 日)。模型基于 Visual GenAI Language(VGL)结构化 JSON 提示词,支持指令编辑、遮罩编辑、最多 4 张参考图、Inspire 参考生成及 5 种摄影风格模式,架构为 flow-matching DiT,提示词由 Qwen3-VL-4B-Instruct 编码,训练数据全部来自授权数据。
推荐理由:原文详细给出 VGL 结构化 JSON 提示的生成与编辑用法,以及架构、微调和部署信息,可以照着在自己的流程里复现。
AuroraASR-1M 发布,是一个仅 949K 参数的轻量级语音识别模型,采用权重共享 Conformer-CTC 架构,INT8 权重仅 1.06 MB。单 CPU 线程可达约 436× 实时速度,在 LibriSpeech test-clean 上使用贪心解码、无外部语言模型取得 11.43% WER,以 Apache 2.0 许可开源。
SandBase Lab 发布 awesome-deepseek-v4.1-flash 仓库,收录 DeepSeek-V4.1-Flash-1017(2026年10月17日更新)生成的 Three.js、WebGL 3D 场景、动效和浏览器游戏,共 88 条视频、来自 70 位创作者,其中 14 条附创建者提示词,每日同步。仓库提供 7 种提示词模式与填空模板、从提示词到 HTML 再到 MP4 的教程,以及 OpenAI 兼容 API 调用脚本;模型在 SandBase 上 id 为 deepseek/deepseek-v4.1-flash,1M token 上下文、最高 384K 输出,价格 $0.30/M 输入与 $1.20/M 输出,推理 token 计入输出计费。
dealignai 在 Hugging Face 上镜像了 DeepSeek-V4.1-Flash-1017 的 EXL3 2.9bpw abliterated 量化版本。该仓库为镜像,权重、文档和更新实际存放在同名的 UNCENSORED 仓库中,后者持续更新并包含完整 README 和评测表。
开源项目 wyat 发布 wyat-1 800M 模型,在应用给定的候选选项中本地选择一个并返回其 ID,训练数据为法语和英语决策,推理完全离线。支持 PyTorch(CPU、CUDA、Apple MPS)和 MLX(Apple Silicon),可通过 Python、JSONL 和 HTTP 调用,还支持有序打分(Request.score)和带概率的是/否判断(Request.noul)。代码采用 Apache 2.0 许可,800M 适配器与决策头仅限非商业使用。
Blockway 团队发布 Agens Volundr 32B v1,针对社区对 Preview 版的反馈做了修复:SWE-bench 任务重复循环从 36/50 降到 0/50,SWE-bench Verified 50 题子集从 22 提到 27/50,τ²-bench 从 89 到 92/120,SGLang 构建新增 session continuation 使后续轮次快 2.9 倍。
推荐理由:官方逐条列出 Preview 版被社区指出的问题及 v1 修复数据,还给出 16 GB 构建的实测速度与质量下降幅度,便于自行评估取舍。
alpha2beta 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 GPTQ Int4 W4A16 量化版(sym、group-128),面向 vLLM XPU 后端并在 Intel Arc Pro B60 上验证,截至 2026-10-18 是该模型在 Hub 上唯一的 GPTQ 量化。实测 decode 40.183 tok/s、TTFT 0.460 s,MTP 投机解码 k=4 时相对关闭草稿提速 2.08 倍;12,288 token 长上下文下 decode 从 40.200 降至 37.315 tok/s(-7.2%)。
推荐理由:作者给出了在 Intel Arc Pro B60 上的实测吞吐、长上下文衰减和 16 题质量分,并记录了校准偏差与评测陷阱,便于复现和横向对比。
axiomofmind 在 Hugging Face 上发布 Moss-image-nsfw-uncensored-lora,一个基于 OpenMOSS-Team/MOSS-Image-SFT 的去审查 LoRA 权重,可通过 Diffusers 的 load_lora_weights 加载使用,触发词为 moss_xvstyle。该仓库被标记为含敏感内容,同时提供 Google Colab、Kaggle 及 Draw Things、DiffusionBee 等本地应用的使用指引。
Hugging Face 上线 mradermacher 制作的 Qwen3.5-2B-Uncensored-Zero-Refusal-SOMA 的 i1 GGUF 量化版本。该模型参数规模约 961k,页面未提供完整模型卡与基准数据,硬件兼容信息需登录后查看。
RuCoverLAB/deepseek-r1-8b-abliterated-q4 已通过 llama.cpp 的 GGUF-my-repo 转换为 Q4_K_M 量化 GGUF 格式并上架 Hugging Face。用户可通过 llama-cli 或 llama-server 直接加载该模型运行推理,server 模式示例使用 -c 2048 上下文长度,也可按 llama.cpp 仓库步骤自行编译使用。
Hugging Face 上线 mradermacher 制作的 Qwen3.5-2B-Uncensored-Zero-Refusal-SOMA 静态量化(static quants)GGUF 版本。该模型目前未被任何 Inference Provider 部署,下载量未被追踪,仓库卡片缺少 YAML 元数据。
Hugging Face 上架了 RuCoverLAB 的 DeepSeek-R1 8B abliterated Q4 量化模型。该模型目前未被任何 Inference Provider 部署,下载量未被追踪,README 内容为空。
ashudson83 在 Hugging Face 上架 DavidAU.L3.1-Dark-Reasoning-LewdPlay-evo-Hermes-R1-Uncensored-8B-GGUF 模型,提供 Q4_K_M 量化版本。页面给出 llama.cpp、vLLM、Ollama、Docker Model Runner、Lemonade 等多种本地部署与运行方式,并支持通过 OpenAI 兼容 API 调用。
Hugging Face 上发布 Qwen3.8-Flash-Next-Uncensored-NVFP4 的 GB10 构建镜像(Apache-2.0),可在 2× DGX Spark(GB10,TP=2)上用 vLLM 部署,支持 1M 上下文(YaRN ×4,max_position_embeddings 1048576),KV 池 3.76M tokens。实测对比 dev461 构建:prefill 8k–131k 提升 9–12.5%(约 3.7k tok/s),1M token TTFT 从 411s 降至 365s,KV 容量 ×1.95,质量 97.75% top-1 一致、NLL +0.019%。
mrfakename 在 Hugging Face 上发布 DeepSeek-V4.1-Flash-1017-abliterated 的 GGUF 量化版本,提供 Q2_K 等量化格式。该模型可通过 llama.cpp 本地运行,支持启动 OpenAI 兼容服务器或终端直接推理,也可在 Ollama、LM Studio、Jan、Docker Model Runner、Lemonade 等工具中使用。
Unsloth 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 Unsloth Dynamic 3.0 GGUF 量化版,1-bit 可在 128GB+ 内存设备运行,3-bit 需 256GB,全精度需 320GB。该模型为 DeepSeek-V4.1-Flash 的小幅更新,官方基准显示推理、编码、Agent 和视觉任务均有提升,如 Terminal-Bench 4.0 得分 42.3 对上一版 31.2;模型采用 MIT 许可,支持 1M token 上下文,需使用 llama.cpp PR 或 Unsloth Desktop 运行,prompt 编码由 encoding.py 与 deepseek-recipe 工具库提供。
推荐理由:官方模型卡附上了与 DeepSeek-V4.1-Flash 及多个竞品的具体基准对比,以及量化档位对应的内存需求,可据此评估该版本的实际收益。