模型与平台
阿里千问系列的开源权重发布、量化版与社区衍生变体。
127 条精选近 30 天 126 条共收录 443 条
AtomicChat 在 Hugging Face 发布去对齐版 Qwen-Image-2.1-Turbo 文本编码器 GGUF，将 Qwen3-VL-8B-Instruct 的拒绝方向从权重中投影去除。作为聊天模型，英文拒绝率从 88.9% 降到 1.2%，俄语从 38% 降到 0%，MMLU 保持 77.35% 不变；45 条敏感图像提示词测试中无一翻转，图像输出仅有约 0.088 的 LPIPS 漂移。提供 BF16 到 Q2_K 量化分档，配 stable-diffusion.cpp 的 --llm 参数本地运行，方法基于 Arditi et al. 2024 的单方向拒绝机制研究。
推荐理由：原文完整给出拒绝方向消融方法、拒绝率前后对照和量化分档对画面的影响，可据此自行评估这个去对齐编码器的实际改动幅度。
cookies55 在 Hugging Face 发布了 Qwen3.5-9B 的去审查微调版，用 Unsloth 在本地硬件以 Claude 4.6 大型蒸馏数据集训练，经 Heretic 消融后拒绝率从 100/100 降到 6/100，KL 散度为 0.0793。该版本为 INSTRUCT 模式并修改了 jinja 模板，图像输入经测试可用，视频部分未测试，建议最低 q4ks（非 imatrix）或 IQ3S（imatrix）量化。
推荐理由：作者给出了消融后的 KL 散度和拒绝率前后对比，以及七项基准分数变化，读者可自行判断去对齐的代价。
作者发布了 Qwen3.8-27B-Uncensored 的 GGUF 量化版本（IQ2_M 到 Q8_0），用 Heretic 移除拒绝方向，保留 MTP 头，拒绝行为显著减少但未消除，从 100 个有害提示中的 98 个降至 12 个。权重编辑带来约 0.043 的困惑度增加（相对约 0.7%），MMLU、ARC-Challenge、HellaSwag、Winogrande 四项基准平均下降 0.5 分且均在标准误内。模型卡同时给出 imatrix、自建低比特量化方法和 MTP 投机解码实测（n_max 1 时约 1.19x-1.28x 加速）。
推荐理由：作者给出了 Heretic 消融方法、拒绝率从 98/100 降到 12/100 以及困惑度和基准的前后对照数据，可以据此判断权重编辑的实际代价。
j-llm 在 Hugging Face 发布 orcarouter/Qwen3.8-27B-Uncensored 的 OptiQ 混合 4/8-bit MLX 量化版，约 19.2 GB，5.13 bits/weight。该量化基于对 uncensored 权重直接测量的逐层 KL 敏感度分配精度，保留 BF16 视觉塔与 MTP head sidecar，262,144 token 上下文；Capability Score 88.86，高于参考版 mlx-community/Qwen3.8-27B-OptiQ-4bit 的 87.98。
推荐理由：原文给出逐层 KL 敏感度测量和 6 项基准对比，读者可评估混合量化相对参考版的质量取舍。
codavidgarcia 发布 Qwen3.8-27B-Uncensored-Heretic 的 UD GGUF 量化，采用 Unsloth 逐张量配方，MTP 头（blk.64）在各档保持 q6_K/q8_0，使模型连同原生 MTP 完整装入 12/16/24 GB 显卡。实测 16 GB UD-IQ4_XS 的 KLD 比可容纳 MTP 的同类量化低 2.4 倍，RTX 4080 上开启 MTP 后代码生成 55 tok/s，约为关闭时的 1.9 倍；拒绝率数据来自 llmfan46 的 Heretic v2（3/100 拒绝），本仓库未复测。
推荐理由：作者对每档量化都实测了 KLD、top-1 命中率和解码速度，并与同权重其他量化逐项对比，数据可直接用于选型。
rajaykumar12959 在 Hugging Face 发布 Qwen/Qwen3.8-27B 的 abliterated 版本，用 difference-in-means 方向对每个残差写入权重矩阵做正交化，消融直接写入 checkpoint，无 runtime hook 和 LoRA，仅含语言模型部分（bf16，text-only，约需 55 GB 显存）。在 292 个 held-out 有害提示上拒绝率从 99.3% 降至 0%，覆盖全部 12 个类别；代价是 MMLU-Pro 从 65.1% 降至 61.8%（−3.3 pp），harmless 提示上的 KL 散度为 0.086 nats。
推荐理由：给出了完整的消融方法、逐层扫描和拒绝率前后对比数据，读者可以据此评估这次去对齐的实际代价与副作用。
千问（Qwen）发布 Qwen-Image-2.1-Turbo，这是 Qwen-Image-2.1 的加速检查点，支持 8 去噪步的文生图与图像编辑。模型沿用 7B 视觉生成架构，可通过 Diffusers 的 QwenImage21Pipeline 直接加载，采样日程随检查点自动加载，默认 CFG=1 并用 prefix KV caching 复用文本和参考图上下文。模型采用 Qwen Research License Agreement 授权。
推荐理由：官方发布了 8 步加速版文生图与图像编辑权重，采样日程随检查点自动加载，附 Diffusers 用法，适合想在本地跑快速生成的读者。
独立研究仓库 trajectory-sft-agents 发布在消费级单卡上运行的小模型Agent后训练项目。基于 Qwen2.5-1.5B-Instruct 的 ALFWorld 实验，用600条环境执行验证的专家轨迹做 LoRA SFT，再经在线GRPO，完整任务成功率由 Base 6.25% 提升至 SFT 68.75%、SFT+GRPO 77.08%。另一组 BFCL 实验将 Qwen3-1.7B 的多轮工具任务测试成功率从 2.5% 提升至 32.5%，单张RTX 5090训练约70分钟。仓库公开训练配置、专家轨迹、LoRA权重与逐题rollout，附CPU可运行的证据核验脚本；作者说明这是域内训练与内部留出评测结果，域外小样本评测未观察到明显退化但也不构成通用能力提升的证明。
推荐理由：作者给出完整训练链路、逐题成绩和可复现证据，读者可以在消费级单卡上照此复现小模型Agent后训练。
GitHub 开源项目 soulkiller 可将你的邮件、聊天、帖子等 14 类个人数据导出，微调成一个模仿你说话风格的 Qwen3 模型，并配套检索记忆索引，全程在本地 Mac 解析、自有 GPU 训练，无云端 API。项目采用 QLoRA 微调（Qwen3-4B/8B/14B，16 GB 显存可跑），仅对你本人的消息计算 loss，导出 LoRA 适配器和 GGUF；记忆部分基于 bge-m3 多语言嵌入索引做检索增强，仍在开发中。作者警告训练后的模型会记住你和联系人的隐私细节，切勿发布。
推荐理由：原文给出从数据导出、QLoRA 微调到检索记忆索引的完整做法，想要复刻个人数字分身的读者可以照着跑。
luongnv89 在 GitHub 开源 m-bench，一套针对自己机器基准测试完整 LLM 配置（serving 参数、thinking 模式、编码代理）的工具，每个任务附参考解，validate 需 28/28 通过。当前最佳配方为 unsloth/Qwen3.6-35B-A3B-NVFP4（MoE，约 3B 激活）跑 vLLM，关 thinking，core16+hard12 达 82.1% pass@1，吞吐约 35-48 tok/s 单流。多轮实测显示 thinking 对一次性代码生成多耗约 13 倍输出 token 仅换 +1.7 分，但在工具循环中可把轮次从 6.8 降到 5.2；同一权重经四个不同代理得分相差最多 23 分。
推荐理由：原文用多轮实测数据说明同一模型在不同配置和代理下得分差异巨大，为本地部署选型提供了可复用的基准方法和结论。
作者将 HauhauCS 发布的无审查 Qwen3.8-27B（GGUF 格式）转换为自研 C++/CUDA 推理引擎 NInfer 的格式，在单张 4090 上跑出 262K 全原生上下文、约 130 tok/s 解码速度（MTP3，70.8% 接受率）、9K 提示词下 3,591 tok/s 预填充，Perplexity 与官方产物差距在 1.3% 以内，视觉和工具调用仍可用，采用 E8 4Bit 量化。转换器与说明见 https://github.com/T-Crypt/ninfer-4090/pull/4，仓库为 ninfer。
推荐理由：作者给出转换前后速度、上下文和困惑度的对照数字，读者可据此评估自研推理格式在量化去对齐模型上的可用性。
Maximilian228 在 Hugging Face 发布了 huihui-ai 消融版 Qwen3.8-Flash-Next 的 NVFP4 量化包，全部路由专家用 GPTQ（而非 RTN）从 BF16 检查点量化，可在单张 RTX 20-50 显卡（12 GB 以上显存、64 GB 以上内存）上通过 Strata NVFP4 运行 125B 混合 MoE。在留出 token 上，GPTQ 的加权相对误差为 RTN 的 33.5%，48 层全部优于 RTN；实测 182.8 tok/s 解码、2810 tok/s prefill，解码成本与 RTN 持平。
推荐理由：原文给出完整的 GPTQ 量化方法和 48 层误差对比数据，读者可以据此评估 NVFP4 消融模型的精度与部署成本。
Maximilian228 在 Hugging Face 发布 OrcaRouter Qwen3.8-Flash-Next-Uncensored 的 NVFP4 (GPTQ) 量化包，供 Strata NVFP4 引擎在单张 12 GB 以上 VRAM 的 RTX 20-50 显卡加 64 GB 内存上运行这个 125B 混合 MoE 模型。模型为 abliterated 去对齐微调，权重中移除了拒绝方向，不拒绝有害请求。作者用 GPTQ 从 BF16 checkpoint 重量化全部路由专家， held-out 误差为 ModelOpt RTN 量化的 33.4%，48 层全部低于 RTN，解码速度与 ModelOpt 包基本持平（约 185.6 对 191.6 tok/s）。
推荐理由：作者给出完整的 GPTQ 重量化方法和逐层误差对比，NVFP4 去对齐版相对 ModelOpt 量化把误差降到约三分之一。
作者更新其 LoRA over GGUF 系列，现可在 40 GiB 显存内无 CPU offloading 地训练 Qwen3.8-Flash-Next（125B-A6B + 51B engram），engram 置于磁盘不拖慢训练。在 Strix Halo 上以 2048 上下文块达到 9.5 s/it（200 token/s），距已实现的 >1600 token/s PP 还有优化空间；transformers 5.18 起已合并对现代 GGUF 的初步支持，作者还预告 torch-ggml-ops 仓库中的 GGTensile 在 MMQ 内核上做汇编级优化，多数场景已快于 HIP。代码见 https://github.com/woct0rdho/transformers5-qwen3.5-recipe
推荐理由：作者给出了在 40 GiB 显存内训练 Qwen3.8-Flash-Next 的方法与实测速度，读者可复现这套 LoRA over GGUF 训练流程。
Underdog 在 Hugging Face 发布 Underdog-Saluki-27B-1.0，基于 Qwen3.8-27B 的 GGUF 量化版，仅 7.89GB（全尺寸 54GB），可在标准 llama.cpp 上运行。Underdog Bench 上工具调用 88/120，超过全尺寸模型的 84；并行工具调用 42 对 35，9 项基准平均保留 96%。竞赛数学保留约 82% 到 85%，弱点在字母级指令谜题，部分并行调用回复有小格式错误；可选 0.6 到 0.9GB 的 mmproj 文件添加视觉能力，Apache 2.0 许可。
推荐理由：原文给出与全尺寸模型同 harness 的工具调用和基准对比数据，读者可以据此判断这个 8GB 量化版本到底保住了多少能力。
jakeatx 发布 ATX-Swift-1.5-Qwen3.8-27B-Uncensored-2.3bpw-MTP GGUF 量化版，基于 UkisAI 的 Swift 1.5（构建于 Qwen3.8-27B）的 uncensored BF16 checkpoint 重编码为约 2.3 bits per weight，含 MTP 草稿层，面向 12 GB 显卡约 200K 上下文。
推荐理由：发布者给出了拒绝率降低说明、KL 散度和 LiveCodeBench 实测对比，读者可以据此判断这个 2.3 bpw 极致量化在 12 GB 显卡上的实际表现。
Dankpaws 将 grimlee 的 abliterated 版 Swift 1.5 Qwen3.8-27B 转换为 EXL3 4.25bpw 量化格式，面向双 RTX 5060 Ti 16 GB 硬件，支持三路并发、每路 115,200 tokens 上下文，包含原生 MTP 和视觉权重。作者在 PCIe 拓扑受限的测试机上实测了单请求 66.1 tok/s、三短请求 41.9-43.3 tok/s 等吞吐数据，并明确说明未做额外微调或新的 abliteration，也未与 BF16 做成对评测；许可上同时适用 Swift Open License v1.0 和 Apache License 2.0。
推荐理由：原文给出了完整的量化参数、实测吞吐和内存数据，读者可以按自己的双卡配置复现这套 EXL3 本地部署。
haddockaihamburg 用 heretic 工具（方向消融加 TPE 参数优化）自动产出 Qwen/Qwen3-0.6B 的 abliterated 版本并开放权重。25 条有害提示的独立测量显示拒绝数从基座 6/25 降到 0/25，lm-eval 各任务能力与基座相当，MMLU 提升 +3.5 在噪声范围内；作者警告样本仅 25 条、单种子单模型，另一次同配置运行只剩 3/25 拒绝，建议消融后独立验证拒绝行为。模型为思考型，使用时模板需设 enable_thinking=False 以匹配测量状态。
推荐理由：原文给出拒绝率前后对照、能力评测和可复现性警告，读者能据此判断这次消融的实际效果与局限。
davetha 在 Hugging Face 发布了 huihui-ai/Huihui-Qwen3.8-27B-abliterated（基于 Qwen/Qwen3.8-27B 的去拒绝版本）的 4-bit AutoRound 量化构建，采用 INT4 主体加 baked lm_head/MTP 和 INT8 embedding，面向单张 Intel Arc Pro B70（32 GB）在 vLLM XPU 下运行。
推荐理由：作者给出了量化方法、perplexity 对比和 B70 上的实测速度数据，读者可以评估这个 4-bit 去对齐版本的质量与可用性。
NVIDIA 在 Hugging Face 发布 Qwen3.8-Flash-Next-FP4-Local，是用 Model Optimizer 量化感知蒸馏（QAD 1.0，nvidia-modelopt v0.47.0）制作的 Qwen3.8-Flash-Next FP4 量化版，checkpoint 约 96 GiB。模型总参数 125B、激活 6B，另有 51B n-gram embedding 和 4B MTP，原生上下文 262K 可扩展至 1M tokens；精度上 GPQA Diamond 从 BF16 的 92.2% 降至 91.5%，ToolEvalBench 从 89.4% 降至 88.7%。
推荐理由：官方模型卡给出了 FP4 量化方法、精度损失对照和两套本地硬件的部署方案，量化细节可参考。