新闻、仓库与研究，按时间排列。
Hugging Face 上发布了 Qwen/Qwen-Image-2.1 的无审查 GGUF 量化版本，提供从 BF16（14.23 GB）到 Q4_0（4.15 GB）等多种量化文件，推荐 Q4_K_M 以平衡体积与质量。该版本移除内置安全检查器与内容过滤，可直接生成 NSFW 内容，需配合 ComfyUI 与 ComfyUI-GGUF 使用，仓库内包含 qwen3vl_8b 文本编码器和 VAE 等配套文件。采用 Qwen Research License 授权。
/u/stargate425 在 SGLang 上复现了 Qwen3.8-27B 的 bit-exact 投机解码，单张 RTX PRO 6000 达 106.6 t/s，24/24 提示词的 token id 与 logprob 均与无投机解码完全一致。关键包括两处 verify 修改、DeepGEMM sm120 修复（PR #42145 及上游 PR #93），短提示词下仅比 vLLM 的非精确解码慢 3%。作者附上完整启动命令、模型版本号和三个补丁的 gist 链接。
推荐理由：作者给出让投机解码输出逐位可复现的具体补丁、启动命令和各长度下的速度对比，方便本地部署者照做。
GitHub 新仓库 kvark/mega-image 提供基于 Meganeura 的 Qwen-Image 2.1 扩散 transformer 推理，用量化 Qwen3-VL 前端编码提示词。初始下载约 10.3 GB，默认 1024x1024 分辨率会生成 4096 个图像 token 并需较大 GPU 显存，首次跑通建议 512x512 和 1 步采样。支持断点续传、HF_HUB_CACHE 缓存复用、--offline 与 --pack-swiglu 等选项，但 VAE 解码器尚未实现，暂不能输出 PNG。
mradermacher 在 Hugging Face 上发布了 smollm2-1.7b-abliterated 的 GGUF 静态量化版本。该模型暂未被任何 Inference Provider 部署，下载量未被追踪。
/u/asfbrz96 在 Strix Halo（Radeon 8060S、128 GB）上为 llama.cpp fork strix-llama.cpp 开出 rdna35-perf 分支（10 commits，仅 ROCm/HIP）。prompt processing 比 Vulkan 快 21–54%、比原版 ROCm 快 8–174%，领先幅度随上下文深度扩大；生成速度与 Vulkan 打平或落后 2–3%。作者用 KL 散度和 32k 困惑度验证输出质量不变，主要改动包括 RDNA3.5 flash attention kernel、量化 GEMM 调优、MoE 与 Gated DeltaNet 的 decode 融合。
推荐理由：作者给出三种模型在 0k 到 128k 多档深度下的完整实测表，并用 KL 散度和困惑度验证输出未变，数据可直接复现。
maximUlya 在 Hugging Face 发布 Qwen-Image-2.1 的 Uncensored GGUF 量化版本，基于上游原始权重，提供 BF16、Q4_K_M 等多种量化文件，大小从 4.15 GB 到 14.23 GB 不等，推荐 Q4_K_M（约 4.6 GB）兼顾体积与质量。该版本移除内置安全检查与内容过滤，可直接生成成人及敏感图像，不拒答也不出黑图。需配合 ComfyUI 与 ComfyUI-GGUF（leejet fork）使用，文本编码器卸载到系统内存可节省 9–17 GB VRAM，采用 Qwen Research License。
r/LocalLLaMA 网友发帖称，同一开源模型在 llama.cpp、vLLM、Ollama、SGLang 等不同推理引擎、量化方式、chat template 或 runtime 版本下行为可能不一致，升级或切换后 tool calling、结构化输出、streaming 等功能可能损坏。其询问大家如何发现这些兼容性问题，并希望有可复现的兼容性测试工具或公开的模型/量化/引擎兼容矩阵。
bowmanslayer 在 Hugging Face 发布 VeriLoop-E2-Uncensored-GGUF 模型，提供 Q4_K_M 量化版本。模型可通过 llama.cpp、vLLM、Ollama、Docker Model Runner、Lemonade 等工具在本地运行，并支持 llama serve 启动 OpenAI 兼容 API 服务器，也可接入 Pi、Hermes、OpenClaw 等 Agent。
Hugging Face 上出现模型 mikechambers84/GLM-5.3-Flash-Uncensored-W4A16。该模型页面目前无 README 说明内容，且未被任何 Inference Provider 部署，下载量暂未被追踪。
Petyx123 在 Hugging Face 发布 abliterated 版本的 Huihui-GLM-5.3-Flash GGUF 模型，提供 UD-Q4_K_XL 量化版本。该模型为图像-文本到文本多模态模型，可在 llama.cpp、vLLM、SGLang、Ollama、LM Studio、Docker Model Runner 等多种推理框架中运行，并支持通过 OpenAI 兼容 API 进行本地部署调用。
Lexum-J 在 Hugging Face 上发布 Qwen3.5-0.8B-Abliterated-V2 的 i1-GGUF imatrix 量化合集，提供从 i1-IQ1_S（0.4GB）到 i1-Q6_K（0.7GB）的多种量化文件。其中 i1-Q4_K_S 被标注为最优的尺寸/速度/质量平衡，i1-Q4_K_M 为推荐且快速的选项。同时提供 0.1GB 的 imatrix 文件供用户自行制作量化，静态量化版本另在独立仓库发布。
Zewsic 在 Hugging Face 发布 edwixx/diffusiongemma-26B-A4B-it-HERETIC-Uncensored 的 NVFP4 量化版本，基于 Heretic 修改后的专家权重而非原始 Google 模型。MoE 专家与 dense MLP 采用 NVFP4（W4A4、group size 16），注意力、embeddings、router、vision tower 等保留 BF16，校准使用 ultrachat_200k 的 128 个样本、截断至 2048 token。原生存储需 Blackwell 或更新 GPU，可通过 vLLM 部署，许可证为 Apache 2.0 加 Gemma 4 条款。
Hugging Face 上架了 TheCluster/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-MLX-mxfp4 的演示页面，模型为 Qwen 3.5 9B 的 uncensored aggressive 版本，采用 MLX mxfp4 格式。该模型目前没有被任何 Inference Provider 部署，下载量暂未被追踪。
Hugging Face 用户 jirka642 发布了 llmfan46/Qwen3.8-27B-Uncensored-Heretic-Native-MTP-Preserved 的 EXL3 量化版本，基于 Qwen/Qwen3.8-27B 微调模型。量化使用 ExLlamaV3 1.6.1 转换，提供 4.0、5.0、6.0 bits per weight（MTP4,H6,V6）三种精度。由于原仓库缺少兼容的 preprocessor_config.json，作者改用了 Qwen/Qwen3.8-27B 官方仓库的配置文件。
gdeyoung 发布了 huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated 的 EXL3 3.05bpw 整数量化包，LM 层已消融，n-gram 嵌入表、MTP 头和视觉塔与基座逐字节一致。包内 75,277 个张量为 3bpw、472 个为 5bpw、2 个为 4bpw，大小 84 GB，可在单块 GB10（128GB 统一内存）上以 262,144 token 上下文运行，实测拒绝筛查 20/20 无拒绝、thinking-off 解码约 65 tok/s、226k token 海针测试可召回。模型继承 Qwen Community License 1.0，安全过滤显著减弱，输出责任由使用者承担。
推荐理由：作者给出消融层的说明、拒绝率实测与完整量化配方，读者可据此复现这个 DGX Spark 上的去对齐部署方案。
Hugging Face 用户 ngkzngkz 发布 orcarouter/Qwen3.8-Flash-Next-Uncensored 的 strixw 格式转换版，该模型是 Qwen/Qwen3.8-Flash-Next 的 BF16 去审查版本。权重共 65.86 GiB（853 tensors），路由专家采用 Q4/G128 量化，部分组件为 Q8，n-gram 嵌入表 48.28 GiB。模型经 abliterated 处理移除拒绝方向，无内置安全护栏，遵循 Qwen Community License 1.0。
xohaohe（华哥）发布 27B 级 MLX 多模态混合精度量化模型 Qwen3.8-27B-TURBO-Fable5.5-Cold-Fusion-L-Uncensored-fp16-oQ4e-mtp，使用 oMLX 0.7.1 处理，开放下载。模型基于稠密 Qwen 架构，默认 4-bit affine（group size 64），保留视觉编码器与 1 层 MTP，上下文配置 262,144 tokens，4 个 Safetensors 分片共 17.94 GB。本量化版本测试成绩待补充，上游成绩不代表其实测表现。
Hugging Face 上发布了 robertbschuette/Huihui-GLM-5.3-Flash-abliterated-GGUF 模型，基于 GLM-5.3-Flash 的 abliterated 版本，提供 UD-Q4_K_XL 量化格式，支持图像-文本到文本的多模态输入。页面给出了用 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker Model Runner 等工具加载和部署的完整方法，llama.cpp 路线可启动 OpenAI 兼容的本地服务器。
balkhaisi9 发布 Qwen3.8-27B-Uncensored-Cyber 的 GGUF 量化，用真实 agent 编码会话日志构建重要性矩阵，而非通用英文语料，保留 MTP 头与视觉塔。提供 IQ4_XS（含/不含 MTP，14.96/15.38 GiB）与校准矩阵文件，配对评测显示 IQ4_XS 相对 Q5_K_M 的 PPL 代价为 +0.417%±0.187%，在单卡 V100 上端到端速度为 Q5_K_M 的 1.20x，逐字抄写保真 7/7。该仓库只做量化，无微调或行为改动，上游为 philbert440 的 abliterated 去拒绝模型。
推荐理由：作者给出基于真实agent流量的imatrix校准语料构造方法与配对评测数据，做法可复现，对低比特量化部署有可迁移价值。
Yap 是一个基于 Llama 3.2 Instruct（GGUF Q4_K_M）的本地 AI 教育助手，通过 llama.cpp 纯 CPU 推理，无需联网，面向 Debian 13。项目提供 main、lowmem、ultra-lowmem 三个配置分支，最低内存需求从约 3.5 GB 降至约 1.8 GB，默认西语并支持英语和 Mapudungun。系统采用应用与域名白名单保障安全，意图分类由 LLM 本身完成，CPU 速度约 40 tok/s。
thelogicalgate 在 Hugging Face 发布 GLM-5.3-Flash-Sushi-2bpw-Abliterated，将原版 GLM-5.3-Flash 的 EXL3 2bpw 专家与来自 abliterated 供体的 29 个 BF16 注意力输出投影组合为 Sushi 包。模型分片约 87.70 GB，仅供 Sushi v1.2.2 在 Apple Silicon 上加载，需 macOS 26.2 及以上。该实验性移植的拒绝减少与能力保留尚未经完整评估，诊断中 17*23=391，DFlash2 串行 33.283 tok/s、开启时 46.235 tok/s，draft 接受率 88.5%。
/u/human_in_the_looop 在 AMD 7900 XTX 上本地运行 Qwen3.8-Flash-Next，实测上下文上限 506,849 tokens，decode 105–160 tok/s。排查出此前回声问题源自 `preserve_thinking: true` 把先前推理反复喂回 prompt，关闭后消失；质量在 thinking 关闭时 81–84%、开启时 88–94%，深度到 256k 时 decode 下降 18%，已设为日常主力配置。
推荐理由：作者用约1.3万轮对话定位回声触发条件，并给出AMD上500k上下文的实测吞吐与质量数据，方法与配置可迁移。
一位 Reddit 用户在 r/LocalLLaMA 求助如何用 vanilla llama.cpp 跑 Qwen3.8-Flash-Next 的 IQ3_XXS 量化。Strata 可在双 RTX3060 12GB + 64GB RAM 配置上达到约 35 tps（思考）/50 tps（代码），而他只跑到 15 tps；他还遇到 tensor split 不支持该模型（报 cudaMalloc failed）、以及在 HF 上找不到 Strata 使用的 800MB mtp q2_0 drafter（仅有 3.5 倍大小的 mtp-Qwen3.8-Flash-Next-Q4_K_M.gguf）等问题。
darask0 在 Hugging Face 发布 GLM-5.3-Flash-Uncensored 的 IQ2/IQ3 混合量化版，基于 orcarouter 的 FP8 源模型转换，两个 GGUF 分片共 83.707 GiB。该版本保留全部 45 层文本主干和 42 个路由层中的 288 个专家，采用校准和 GPTQ 误差反馈，路由专家主要用 IQ2_XXS、重要下投影用 IQ3_XXS。在 RTX PRO 6000 96 GB 上实测 256 输入时 decode 91.0 tokens/s，需自建补丁版 Maya 运行时，与原版 llama.cpp、LM Studio、Ollama 的兼容性未经验证。
AI-conn 在 Hugging Face 上 fork 了 HauhauCS 基于 Zhipu AI GLM-4.7-Flash 制作的无对齐版本 GGUF，以固定副本并附带部署修复说明，推荐 20 GB 显卡使用 Q4_K_M 量化（16.89 GiB）。实测指出 Ollama 0.32.1 之前会把该 MoE 当密集模型执行（13.7 tok/s），升级到 0.32.1 后达 77.8 tok/s；默认 202,752 token 上下文会导致 prefill 约 51 秒、解码约 10 tok/s，建议 Modelfile 设 num_ctx 32768 和 num_batch 2048（25K prompt 从 665 秒降到 33 秒）。
/u/Chida82 分享在其 sf-ds4-1flash（antirez ds4 的单模型 Metal 后端分支）上流式运行 341 GB Q2 GGUF 于 128 GB M5 Max 的两个 macOS 修复。修复 F_NOCACHE 在 APFS 上 16 KB 页边界外仍部分缓存的问题后，8K prompt 后首 token 从 1.23 s 降到 0.15 s；改用轮询共享邮箱而非等待 command buffer 后 decode 再提速 5.5%-6.2%。相比上游 ds4，prefill +45% 到 +99%，decode 约 30 tok/s（2K 上下文），输出经逐位校验保持一致。
推荐理由：作者给出两个 macOS 底层修复的具体方法与前后数据，流式从 SSD 跑大模型的本地部署场景可以直接对照排查。
一位 Reddit 用户在 R9700 上实测了三个 Qwen3.8 27B 量化版本，用 gsm8k（数学）和 humaneval（代码）评测。结果出乎意料：Swift-1.5-Qwen3.8-27B-MXFP4-A-outQ6_K 在数学上最佳，Qwen3.8-27B-UD-Q6_K_L 反而最差，而 Swift-Qwen3.8-27B-Q6_K 速度最慢。作者表示需跑完整测试套件才能得出更精确结论。
AI-conn 在 Hugging Face 上传了 huihui-ai 制作的 Huihui-Qwen3.8-27B-abliterated-GGUF 分叉，基于 Qwen/Qwen3.8-27B，采用去除拒绝方向的 abliteration 方法，许可证为 Apache-2.0。在 20 GB 显存的 RX 7900 XT 上，推荐文件 UD-DW-Q4_K_M（15.41 GiB）8k 上下文约占 17.1 GiB、16k 约占 18.1 GiB，均可完全常驻显存。该文件是审核中唯一在 20 GB 显卡上留有 16k 上下文余量的顶级无审查版本，可通过 ollama pull 直接拉取。
AI-conn 在 Hugging Face fork 了 huihui-ai 的 Huihui-Qwen3-Coder-30B-A3B-Instruct-abliterated，由 mradermacher 完成 GGUF 转换，基础模型为 Qwen3-Coder-30B-A3B-Instruct，采用 Apache-2.0 许可。该 MoE 模型总参数 30B、每 token 激活约 3B，但全部专家权重需常驻 VRAM；20 GB 显卡推荐 17.28 GiB 的 i1-Q4_K_M 文件。社区实测基础模型在 HumanEval Pro 得分 60.4%，目前尚无任何 abliterated 版本的独立编程评测。
开发者发布 little-gemma V1.0 引擎的 Fork 版本，将 exllamav3 移植到 Jetson Orin Nano Super 8GB 上运行 Gemma E4B。相比穷尽 GGUF 优化后的 llama.cpp，EXL3 方案 prefill 速度更快，虽解码速率有所下降，但语音对话整体延迟更低。作者已公开 Fork 与权重，但提醒该方案并非适合所有人。
shefowl 发布 Qwen3.8-Flash-Next 的 abliterated GSQ-RCO GGUF 剪枝版，每层保留 512 个路由专家中的 352 个，未重量化或重训，基于 IST-DASLab 的 RCO 专家搜索。在 RTX 4050 6GB 加 16GB 内存的笔记本上以 Strata 0.1.42 达到 10.8 tokens/s，全量 512 专家版为 9.0；代价是事实问答 NQ-open 得分 28.4%（全量 33.1%），greedy 代码答案循环次数明显增多。与 dense Qwen3.8-27B 在事实和代码上打平；相比专注代码的 ISTA Coder 速度更快且可在代码外使用。文件共约 56.5 GB，附带 Strata 运行配置和专家档位文件。
推荐理由：原文给出完整速度与基准对照数据，读者可以直接判断这版 352 专家剪枝文件在自己的显存预算下值不值得用。
huihui-ai 基于 Qwen/Qwen3.8-27B 发布去审查（abliterated）的 GGUF 版本 Huihui-Qwen3.8-27B-abliterated，无需 TransformerLens 移除模型拒答，MTP 与视觉部分未改动。后续多个系列仅对第 22 至 52 层（0 起始索引）做消融，其余层保留，并提供 Q2_K_L 至 Q6_K_L 及 Q8_0_L 的特殊量化以提升回复质量。模型可通过 ollama（huihui_ai/Qwen3.8-abliterated）或 llama.cpp 运行，支持 -c 262144，仅建议研究测试用途。
Reddit r/LocalLLaMA 用户实测并排出了能在 10-16GB VRAM、26-32GB RAM 下运行的模型榜单，要求 64k 上下文、每秒至少 10 token，冠军为 Gemma 4 26B-A4B，其后是 Qwen 3.6 35B-A3B (Abliterated) 和 Gemma 4 Instruct 19B-A1B Heretic。测试覆盖速度、连贯性、多语言容错、slop 模式频率和审查程度，并排除了所有 CoT 模型。作者提示 Kobold 无法加载 Qwen 35B 和 GLM 31B，需用 LLAMA 运行。
Reddit 用户分享 Project Maya，可在自有 GPU 上本地运行 GLM-5.3-Flash（321B 参数、每 token 约 18B 激活、最高 1M token 上下文，MIT 许可）。作者从原方案的约 10 tokens/s 提升到 30 tokens/s；项目称四张 RTX 4090 上可达 118 tokens/s，单张 RTX 5090 达 30+，自有量化保留 FP8 模型 97.7-99.2% 的 zero-shot 精度，并提供 OpenAI 与 Anthropic 兼容 API。项目地址 https://github.com/mw00/project-maya。
推荐理由：作者给出单卡与多卡的具体 token 速度和量化精度数据，想本地跑 GLM-5.3-Flash 的读者可以据此估算自己的硬件门槛。
用户 Ecmcfee 于 2026-10-11 上传了 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-oQ8e-mtp 的量化版本，替换旧版本，此前下载过的用户需重新下载。该模型使用 oQ（oMLX v0.7.1.dev1）混合精度量化，为 qwen3_5 架构，8-bit、group size 64，格式为 MLX safetensors。
wacomctl672 在 Hugging Face 发布 Swift-1.5-Qwen3.8-27B-Uncensored-ninfer3090，这是基于 d0xin abliterated 检查点、面向 ninfer-3090 转换的量化产物，并集成了 z-lab/Qwen3.8-27B-DFlash2。基座为 Alibaba Cloud 的 Qwen3.8-27B（Apache 2.0），指令微调来自 UkisAI 的 Swift-1.5-Qwen3.8-27b。Swift Open License v1.0 规定年营收低于 $1,000,000 USD 的实体可免费商用，超过需与 UkisAI 达成商业协议。
/u/matteiuspi 在两张 96GB Ascend 310P 卡上用 vllm-ascend 跑通 GLM-5.3-Flash（320B 参数 MoE，每 token 约 18B 激活，45 层 288 专家 top-8），经 W2/W3/W4 量化后达到约 8-9 tok/s，已验证单请求最高 311,040 tokens、按 640-token prefill 分块、最多 4 路并发。作者实现了模型权重常驻下的模块热更新加速实验迭代，另在第三张卡上跑通 qwen3.8-flash-next 并支持 YaRN 1M 上下文，还提出将部分权重卸载到 Ascend 的 Ascend Sidecard 设想；作者称 Codex 能协助写融合 kernel，而 Claude 拒绝讨论 Ascend 架构。
SizorCloud 发布 Ideogram 4 所用 Qwen3-VL 文本编码器（abliterated）的单文件合并版，将 noelthekke 原仓库的 4 个分片 safetensors 合并为一个 qwen3vl_text_encoder_abliterated.safetensors（398 个张量，BF16，约 15 GB）。合并仅是格式重打包，未改动任何权重或量化。该文件供 sd-webui-forge-classic 2.30 等 UI 在 Text Encoder 下拉框中加载，配合 Flux2 系 VAE 使用 Ideogram4 预设。
ModelTC 的 LightX2V 是一个轻量图像/视频生成推理框架，支持 T2V、I2V、T2I、I2I 等任务，最新集成了 MiniMax-H3 全模态音视频生成并发布 4-step 768p 蒸馏 LoRA。官方基准显示在 H100 上 8 卡推理达 0.75s/it，约为 Diffusers 的 1.9 倍，并支持 8GB VRAM + 16GB RAM 运行 14B 模型生成 480P/720P 视频，提供 NVFP4/FP8 量化、三级 offloading 与多种国产芯片部署支持。
CCSSNE 在 Hugging Face 发布基于官方 QAT 权重的 HauhauCS 去对齐版 Gemma4-31B，实测 0/465 拒绝，数据集和能力不变。提供 Q4_K_M 主模型（18.7 GB）、mmproj 视觉文件（1.2 GB）和来自 Unsloth 的 MTP 投机解码头（280 MB），经 llama.cpp 测试生成速度约快 53% 且输出一致；支持 256K 上下文与图像输入，兼容 llama.cpp、LM Studio、Jan、koboldcpp 等 GGUF 运行时。
推荐理由：原文给出拒绝率实测结果和 llama.cpp 部署命令，还说明 QAT 4-bit 量化选型理由，可作为去对齐模型的参考样本。