模型与平台
阿里千问系列的开源权重发布、量化版与社区衍生变体。
127 条精选近 30 天 126 条共收录 442 条
edp1096 在 Hugging Face 发布 Huihui-Qwen3.8-Flash-Next-abliterated-FP4-Local，将经审计的 Huihui v2 修改从匹配的 Unsloth/Huihui Q8_0 权重迁移到 NVIDIA FP4-Local 检查点，变更投影重建后取整为 BF16 并编码为 MXFP8，NVFP4 专家、PLE、MTP、视觉与 tokenizer 保留 NVIDIA 原始字节。
推荐理由：原文给出了量化 delta 迁移的具体做法和 DGX Spark 上的运行测试记录，读者可以据此判断该检查点的实际可用状态。
Zellige AI 开源 Tessera-27B-B-CJK，一个基于 Qwen3.8-27B 的编码 Agent 模型，以混合英文、中文词汇和符号的压缩 CJK 思考来减少 token 消耗，思考过程与输出分离，回答和工具调用保持英文与代码。在 11 个 held-out 编码 Agent 任务上对比未微调基座：每轮思考 token 降至基座的 0.50-0.64 倍，88 轮匹配测试中工具调用 100% 有效、零重复循环，101K-131K token 提示下 6/6 工具调用有效；竞赛数学和难算法代码弱于基座。训练仅用四个短 LoRA 步骤，基于基座自身输出构建。
推荐理由：原文给出与基座模型同任务对比的思考 token 消耗数据和训练流程，可了解用压缩 CJK 思考省 token 的具体做法。
Reddit 用户 /u/Ok-Director4174 发布了免费开源桌面应用 Kokon，基于 stable-diffusion.cpp（ggml）运行 Qwen-Image 2.1 Turbo Q4_K 与 Qwen3-VL 8B 文本编码器（约 12 GB GGUF），无需 Python 和 PyTorch，首启自动检测 GPU 并下载匹配权重。应用提供 Change / Remove / Replace / Add 的笔刷式照片编辑、撤销与前后对比，内置 MCP 服务器（generate_image、edit_image、inpaint_image 等）和本地 HTTP API。
推荐理由：作者实测给出了各档显卡的单张编辑耗时和显存门槛，本地部署 Qwen-Image 2.1 图像编辑可据此评估硬件是否够用。
/u/Present_Resource4022 在 GitHub 发布 Gyro-M 实验性部署方案，在 4070 Super 12GB 显存加 32GB 内存上跑满 Qwen 3.8 flash 的 256K 上下文，prefill 约 950–1800 tok/s，输出 30–38 tok/s。方案包含 Strata 补丁、调优配置、模型下载器、安装器和启动器，默认关闭 MTP 和视觉功能以提升速度；作者另附一段提示词，可交给 Codex 或 Claude Code 等编码 Agent 按用户自身硬件调优，速度受 CPU、SSD、内存和 GPU 带宽影响较大。
推荐理由：作者实测 Qwen 3.8 flash 在 12GB 显存加 32GB 内存跑满 256K 上下文，并给出调优补丁和供编码 Agent 适配自家硬件的提示词。
xdfhg 在 Hugging Face 发布基于 Qwen3.8-27B 的网络安全领域去拒绝模型 Qwen3.8-27B-Uncensored-Cyber，采用 recipe-v2 单向拒绝消融加 β=1.0 范数保持投影，仅对第 4 层起更深层处理，保留视觉塔与 MTP 投机解码头。bf16 评测显示 100 个 held-out 网络攻击提示全部开放（上一版为 93/100），confab 从 1.0 降至 0.867，事实准确率 1.0 优于上一版 0.933，GSM8K 持平且零退化，并提供 -W4A16-AWQ、NVFP4 及 llama.cpp GGUF 量化版本。
推荐理由：原文给出 v2 配方与前后两版的拒绝率、事实准确率对照数据，可据此评估这版去拒绝在开放度与能力保留之间的取舍。
/u/stargate425 在 SGLang 上复现了 Qwen3.8-27B 的 bit-exact 投机解码，单张 RTX PRO 6000 达 106.6 t/s，24/24 提示词的 token id 与 logprob 均与无投机解码完全一致。关键包括两处 verify 修改、DeepGEMM sm120 修复（PR #42145 及上游 PR #93），短提示词下仅比 vLLM 的非精确解码慢 3%。作者附上完整启动命令、模型版本号和三个补丁的 gist 链接。
推荐理由：作者给出让投机解码输出逐位可复现的具体补丁、启动命令和各长度下的速度对比，方便本地部署者照做。
gdeyoung 发布了 huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated 的 EXL3 3.05bpw 整数量化包，LM 层已消融，n-gram 嵌入表、MTP 头和视觉塔与基座逐字节一致。包内 75,277 个张量为 3bpw、472 个为 5bpw、2 个为 4bpw，大小 84 GB，可在单块 GB10（128GB 统一内存）上以 262,144 token 上下文运行，实测拒绝筛查 20/20 无拒绝、thinking-off 解码约 65 tok/s、226k token 海针测试可召回。模型继承 Qwen Community License 1.0，安全过滤显著减弱，输出责任由使用者承担。
推荐理由：作者给出消融层的说明、拒绝率实测与完整量化配方，读者可据此复现这个 DGX Spark 上的去对齐部署方案。
balkhaisi9 发布 Qwen3.8-27B-Uncensored-Cyber 的 GGUF 量化，用真实 agent 编码会话日志构建重要性矩阵，而非通用英文语料，保留 MTP 头与视觉塔。提供 IQ4_XS（含/不含 MTP，14.96/15.38 GiB）与校准矩阵文件，配对评测显示 IQ4_XS 相对 Q5_K_M 的 PPL 代价为 +0.417%±0.187%，在单卡 V100 上端到端速度为 Q5_K_M 的 1.20x，逐字抄写保真 7/7。该仓库只做量化，无微调或行为改动，上游为 philbert440 的 abliterated 去拒绝模型。
推荐理由：作者给出基于真实agent流量的imatrix校准语料构造方法与配对评测数据，做法可复现，对低比特量化部署有可迁移价值。
/u/human_in_the_looop 在 AMD 7900 XTX 上本地运行 Qwen3.8-Flash-Next，实测上下文上限 506,849 tokens，decode 105–160 tok/s。排查出此前回声问题源自 `preserve_thinking: true` 把先前推理反复喂回 prompt，关闭后消失；质量在 thinking 关闭时 81–84%、开启时 88–94%，深度到 256k 时 decode 下降 18%，已设为日常主力配置。
推荐理由：作者用约1.3万轮对话定位回声触发条件，并给出AMD上500k上下文的实测吞吐与质量数据，方法与配置可迁移。
shefowl 发布 Qwen3.8-Flash-Next 的 abliterated GSQ-RCO GGUF 剪枝版，每层保留 512 个路由专家中的 352 个，未重量化或重训，基于 IST-DASLab 的 RCO 专家搜索。在 RTX 4050 6GB 加 16GB 内存的笔记本上以 Strata 0.1.42 达到 10.8 tokens/s，全量 512 专家版为 9.0；代价是事实问答 NQ-open 得分 28.4%（全量 33.1%），greedy 代码答案循环次数明显增多。与 dense Qwen3.8-27B 在事实和代码上打平；相比专注代码的 ISTA Coder 速度更快且可在代码外使用。文件共约 56.5 GB，附带 Strata 运行配置和专家档位文件。
推荐理由：原文给出完整速度与基准对照数据，读者可以直接判断这版 352 专家剪枝文件在自己的显存预算下值不值得用。
Reddit 用户 /u/FeydRowan 实测 Qwen3.8-27B 从 UD-Q4_K_XL 到 Q8_0 的五个量化版本，发现它们在 GSM8K、MMLU-Pro 和 IFEval 上差距均在 ±2 分内，而自建的 112 次运行 agentic 编码基准（隐藏测试、AST 注入 bug）拉开差距：27B NVFP4 解题 77%，Flash-Next NVFP4 达 98%。SWE-rebench 交叉验证趋势一致（69% vs 82%，McNemar p≈0.007），OpenCode 等测试框架的选择对结果影响也很大，Flash-Next 约 3-bit 的 Q3 版本可解决 12 项区分性任务中的 11 项。
推荐理由：作者用自建、无污染的 agentic 编码基准区分了标准评测拉不开的量化差距，方法与数据都可复用。
Reddit用户/u/Ok-Breadfruit-3523用4张单价不到$100的BC-250矿卡板、通过llama.cpp加Vulkan和RPC组成本地推理集群，跑Next Flash IQ3_XXS在100k上下文下维持约60-70 tok/s，或同时跑2个Qwen3.6-35B-A3B实例达约145 tok/s、可用上下文约258K。借助Claude Code做的优化包括MTP草稿头的投机解码链、Vulkan图录制重放、针对架构的定制kernel与上下文checkpoint本地复制，整体功耗负载下600-900W，下一步计划给每块板加装AIO水冷。
推荐理由：作者完整记录了4张矿卡集群的优化路径、实测速度与功耗，方法可迁移到类似多板推理部署场景。
gyang274 发布了 huihui-ai/Huihui-Qwen3.8-27B-abliterated 的 FP8 量化版，权重为 FP8 E4M3、128×128 分块，保留 MTP head 和 vision tower，检查点 28.75 GiB。与官方 Qwen3.8-27B-FP8 对比只有 70/1,606 张量不同，且全部是写入残差流的 rank-1 编辑；SGLang v0.5.21 评测中 HumanEval 95.7%（官方 98.2%），GSM8K 前 200 题 94.5%（官方 97.5%），15 条易拒 prompt 中 0 拒绝（官方 2 partial），单流解码约 62 tok/s。完整笔记与脚本见 github.com/gyang274/ms-Qwen3.8-27B。
推荐理由：作者量化了去对齐模型并给出与官方权重的逐张量对比和评测数据，读者可以看到去对齐编辑的具体痕迹和性能代价。
/u/dh7net 实测 Qwen3.8-Flash-Next 的 IQ3_S 量化版（ISTA-DASLab GSQ-RCO GGUF）在 RTX 5090 上经 Strata 服务、pi harness 运行 airbench 测试套件，11 分钟拿到 100% 得分，而 Claude Code 同任务同分但耗时 14 分钟；作者更正原标题未说明这是面向日常任务的基准，不是区分前沿模型的评测。复现需 24GB 以上显存、约 64GB 内存和 90GB 磁盘，IQ3_S 在 256k 上下文下约需 78GB 内存。同一服务器上 omp 18.4.2 得 48/49（16 分钟）、opencode 1.18.29 得 46/49（11 分钟）、dsh 0.2.0-rc.2 得 47/49（11 分钟）。
推荐理由：作者在 RTX 5090 上实测同一本地模型配不同 Agent 框架的 airbench 得分与耗时，并给出可复现的完整部署配置。
sjoe1244 发布了 llmfan46/Qwen3.8-27B-Uncensored-Heretic 的 EXL3 量化版，权重、lm_head、视觉塔和 MTP 头均为 4-bit，仅支持 TabbyAPI 或 ExLlamaV3。在一块 RTX 4090 上实测：加载后显存 21.0 GB，无思考模式 155–167 tok/s，MTP 起草接受率 81%；作者注明只做了短测，最长提示词 9K tokens，质量未对照 BF16 源模型。许可为 Apache 2.0，去对齐工作来自 llmfan46。
推荐理由：作者给出了单张 24 GB 卡上的实测数据，包括显存、速度和 MTP 接受率，对想本地跑同款量化的人有直接参考价值。
satellitedown 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 abliterated fngine 单 GPU 推理包，迁移 huihui-ai 的消融结果，48 层单拒绝方向拟合最小余弦 0.9999985。在 RTX 5090 上对 32 个轻度提示词，未消融版拒答 8 个、该包 0 个，数学、Python 与知识测试两版得分相同，速度无可测差异。pack 约 89 GiB，要求 sm_120a GPU、约 60 GB 主机内存，提供 OpenAI 兼容接口与 256K 上下文。
推荐理由：给出了 abliteration 的迁移方法、消融方向拟合与拒绝率前后对照，可复核的去对齐发布。
beginning-ai 在 Hugging Face 发布了 orcarouter/Qwen3.8-Flash-Next-Uncensored（去拒绝的 BF16 版）的 NVFP4 混合精度量化，目标是单张 96 GB Blackwell GPU 上用 SGLang 运行。与官方 base 相比源模型改动了 1,658 个张量中的 149 个；checkpoint 占盘 120 GiB（BF16 源为 335 GiB），GPU 上约 78 GB 权重，47.7 GiB 的 n-gram PLE 表可放在主机内存或 NVMe。在 RTX PRO 6000 上单流解码约 265 tok/s（2K 上下文）、约 240 tok/s（200K），KV cache 786K token、上下文 524K。
推荐理由：原文给出了逐张量对比、校准数据与拒绝行为说明，读者能看清这个去对齐量化和官方版在结构与数值上的确切差异。
SargeDev 在 Hugging Face 发布 JEV-27B-Uncensored，是 JEV 27B 家族首个 uncensored 成员，将 AutoTrust 的 System-1 决策模块合入 huihui-ai 的 abliterated Qwen3.8-27B 骨干（第 18-51 层消融，视觉塔未动），使决策引擎在无拒绝线路下输出。
推荐理由：原文给出了消融层范围、决策指标前后对比和拒绝率实测，读者可以据此判断去对齐带来的能力代价。
YueFong 在 Hugging Face 上发布基于 Qwen/Qwen-Image-2.1 原始权重的 Uncensored GGUF 量化版，用于本地图像生成。该版本移除内置安全检查器，可直接生成成人及敏感图像而不出现提示词拒答或黑图；提供 BF16 到 Q4_0 等多档量化（如 Q4_K_M 为 4.60 GB），并附配套文本编码器 qwen3vl_8b 与 VAE 文件、ComfyUI 及 ComfyUI-GGUF 的部署与低显存配置说明。
推荐理由：原文列全了各量化档位的文件体积与显存占用，还给出 ComfyUI 的部署步骤和文本编码器卸载方案，照做即可跑通本地生图。
swdq 在 Hugging Face 放出 huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX affine 4-bit 权重，并把检查点自带的 MTP 头量化为 mtp-4bit.safetensors，供 TensorFold 的 Qwen3.6 MoE CUDA 家族使用。在一台 NVIDIA DGX Spark（GB10）上用 TensorFold 0.6.6、--mtp-drafts 2 --prefill-f8 实测，8k tokens 预填充 5,700–7,200 tok/s、解码 98–128 tok/s；相比之下 BF16 检查点在 vLLM 0.29 加 FP8 在线量化加 MTP 2 下解码约 53/69 tok/s。
推荐理由：原文给出了完整的量化方法、实测吞吐数据和复现命令，读者可以直接拿来在单机上部署这个 4-bit 版本。