模型与平台
阿里千问系列的开源权重发布、量化版与社区衍生变体。
129 条精选近 30 天 128 条共收录 446 条
davetha 在 Hugging Face 发布了 huihui-ai/Huihui-Qwen3.8-27B-abliterated（基于 Qwen/Qwen3.8-27B 的去拒绝版本）的 4-bit AutoRound 量化构建，采用 INT4 主体加 baked lm_head/MTP 和 INT8 embedding，面向单张 Intel Arc Pro B70（32 GB）在 vLLM XPU 下运行。
推荐理由：作者给出了量化方法、perplexity 对比和 B70 上的实测速度数据，读者可以评估这个 4-bit 去对齐版本的质量与可用性。
NVIDIA 在 Hugging Face 发布 Qwen3.8-Flash-Next-FP4-Local，是用 Model Optimizer 量化感知蒸馏（QAD 1.0，nvidia-modelopt v0.47.0）制作的 Qwen3.8-Flash-Next FP4 量化版，checkpoint 约 96 GiB。模型总参数 125B、激活 6B，另有 51B n-gram embedding 和 4B MTP，原生上下文 262K 可扩展至 1M tokens；精度上 GPQA Diamond 从 BF16 的 92.2% 降至 91.5%，ToolEvalBench 从 89.4% 降至 88.7%。
推荐理由：官方模型卡给出了 FP4 量化方法、精度损失对照和两套本地硬件的部署方案，量化细节可参考。
作者开源了 Undertone，一款 macOS 浮窗工具，通过 ScreenCaptureKit 截屏加 OCR 读取聊天窗口，用本地 Qwen 3.5 4B 模型（经 Ollama 运行）把英语消息的真实含义以中文解释出来，将消息分为 11 类识读并建议回复，还可检查草稿语气。默认全本地运行，可选用云模型。自建评测集显示本地模型识读开发集 80%、held-out 集 68%，草稿检查 23/26；另用 QLoRA 微调实验把 base 模型从 31% 提升到与提示版相当的水平并快约 35%。内置关键词安全网提醒外贸换账户诈骗等风险，项目以 Apache License 2.0 发布。
推荐理由：作者公开了完整的识读流程、评测集和微调对比数据，读者能据此评估本地小模型做英语潜台词解读的真实水平。
作者发布了 Qwen/Qwen3.8-Flash-Next 的 mlx-serve 4-bit 混合量化包（4-bit experts、8-bit 其余），该模型为 Qwen4 preview 架构（model_type: qwen4_exp），全量 checkpoint 为 125B trunk + 51B n-gram + 4B MTP，共 180B（bf16 360 GB）。实测在 M4 Max 128 GB 上常驻约 67-69 GB，decode 29-34 tok/s，25k token prompt prefill 约 400 tok/s。n-gram 表以单独 4-bit 文件 mmap 方式按需反量化，不占常驻显存；MTP 头可加载但当前比串行 decode 慢，默认关闭。
推荐理由：作者在 M4 Max 上给出了显存占用、decode 与 prefill 速度等实测数据，读者可以据此评估这个 180B 模型能否在自己机器上跑。
etemiz 在 Hugging Face 发布基于 Qwen 3.8 27B 的 Ostrich-261008 abliterated 版本，提供 3.0 至 6.0 bpw 四档 EXL3 量化（13 到 22 GB），可通过 ExLlamaV3 / TabbyAPI 在消费级 GPU 本地运行。该版本经 abliteration 移除拒绝行为，官方数据显示整体对齐率从基座的 37% 升至 82%，并新增了 Agentic RAG 训练、真值打分适配器和 0.928 分的自动化 9 项人格化测试；训练采用进化搜索管线，累计 841 代、9500 条谱系，蒸馏领域覆盖健康、宗教、比特币等。
推荐理由：原文给出了按领域的对齐率对比和拒绝率数据，读者可以据此判断这个 abliterated 版本的实际去对齐程度和量化选择。
作者为 180DC Bristol × BDSS Datathon 构建了 672 对仅姓名不同的双胞胎简历，测试 Qwen2.5-Instruct（0.5B 和 1.5B）作为简历筛选器，发现 3.9% 的决策因换名翻转（p < 0.001），末层隐藏状态可用线性分类器以 99.9% 准确率预测种族。阈值均衡等输出修复把决策差归零但内部偏见保持 100%，逐层消除后偏见仍以新方向重现；最佳方法在最偏层消除种族方向后决策差不显著且准确率不降，但未消除内部偏见。代码在 GitHub 开源，可在 MacBook（Apple M3, 16 GB）上运行，1.5B 模型单次条件约 16 分钟。
推荐理由：原文给出名字交换双胞胎简历实验和逐层去偏的完整数据，读者可以看到输出公平不等于内部公平的可复现检验方法。
Hirundo 研究者用机器遗忘方法去除 Qwen3.6-35B-A3B 和 Qwen3.5-4B 中的 CCP 政治对齐，发布 Qwen3.6-35B-A3B-Westernized 与 Qwen3.5-4B-Westernized 开放权重。35B 版在 CCPC-500 上被标记比例从 89.8% 降到 2.8%，DECCP 拒答从 65.26% 降到 3.16%，ChinaBench 不合规从 96.67% 降到 6.67%；GPQA、IFBench、LiveCodeBench、MMLU-Pro 平均变化 0.72 分，最大 1.83。方法为三步：收集触发目标行为的回复、用行为遗忘目标训练 LoRA 并以 retain set 锚定其他行为、再合并进基础权重。
推荐理由：作者给出 CCPC-500、DECCP 等去对齐前后数据，并解释与 abliteration 的差异和三步方法，可据此判断改动范围。
MedAdapt Lab 完成了 ADHD-01 至 ADHD-05 五项实验，在单台 Apple M2 Max 上用手写 MLX 训练循环和 LoRA 继续训练 Qwen3 Base 模型，数据为 269 篇模型发布后出现的 CC 许可 ADHD 论文及 400 个虚构试验。主要发现包括：约 1.65 遍训练后，已训练论文题目准确率比未训练论文多提升 3.8-5.0 个百分点；1.7B 模型在 3.3 遍时额外增益达 +8.7；真实论文训练使通用文本困惑度上升 7%-123%；虚构事实在约 4-8 遍后从 25% 几率突升到 44%-51%；同 exposure 下四份不同文本比一份重复四遍高 +4.5 到 +7.6 分；无 replay 的窄域新事实训练使通用困惑度升 37-94 倍。
推荐理由：原文用训练前冻结的考题和对照实验，量化了小模型读新论文能记住多少、忘掉多少，方法可复现可迁移。
作者在约 16 GB 内存、无独立 GPU 的本机上对 Qwen2.5-0.5B-Instruct 做 4-bit QLoRA SFT/DPO，完成中文结构化抽取与意图分类实验，数据采用 MASSIVE 中文子集。v6 混合系统严格实体 F1 为 62.59%，首次达到预设绝对 F1 ≥60% 门槛，但相对旧 v5 混合的配对 95% 区间为 −3.58 至 +7.19，未通过相对收益门槛；v3 DPO 将无槽失败从 126/167 降至 28/167 但阳性句 F1 下降。仓库公开复现命令、选择锁与失败报告，不含权重和逐题预测，结果定位为后训练研究而非可自动上线服务。
推荐理由：作者在 16 GB 无 GPU 本机上完整跑通 QLoRA SFT/DPO 并公开预设门槛、配对区间和失败记录，方法与边界都可复用。
mirthfulLee 发布 mini-rsglang，一个用 Rust 和 CUDA 从零实现的推理引擎，受 mini-sglang 启发，支持 Qwen3 dense/MoE 与实验性 GPT-OSS 模型，提供单 GPU 和 NCCL 张量并行执行、离线生成及 OpenAI 风格 HTTP API。项目支持连续批处理、chunked prefill、radix 前缀共享和分页 GQA，BF16 权重与 KV，实测 Qwen3-30B-A3B 在 TP 8、gpt-oss-120b 在单卡和 TP 2 上运行。
推荐理由：受 mini-sglang 启发的纯 Rust 推理引擎，给出 Qwen3 与 GPT-OSS 的 TP 支持和诚实的验证状态，想读引擎实现细节可以看。
Blackfrost 发布了 Qwen3.8-27B 的 abliterated 版本 GGUF 量化包，权重级降低拒绝行为，附完整 K-quant 阶梯（Q2_K 至 Q8_0）和视觉投影文件。450例拒绝基准（150 AdvBench、150 StrongREJECT、150 XSTest）经人工复核后残留11例真拒绝，占2.4%；W4A4 NVFP4 衍生版的 WikiText-2 词困惑度为9.3677，上游 BF16 为8.4764。每个主量化内嵌 MTP 投机头，可单文件在 llama.cpp 运行；可选 BF16 DFlash2 sidecar 在 RTX PRO 6000 上配 Q4_K_M 达到109.31 tok/s 中位解码速度，需固定实验性 llama.cpp 实现。
推荐理由：原文给出450例拒绝基准的分阶段残留数据和量化档位清单，读者可据此判断该去对齐版本的拒绝率与部署成本。
pedrofariasx 在 GitHub 发布 qwenproxy，一个本地代理服务，通过 Playwright 浏览器自动化把 chat.qwen.ai 的 Qwen 模型封装成兼容 /v1/chat/completions、/v1/models 和 /v1/upload 的 OpenAI 接口。支持多账号负载感知路由与 cooldown、多用户 API key 限流配额、SQLite 持久化、reasoning_effort 思考模式控制、多模态上传、本地工具执行、React + shadcn/ui 管理面板、Prometheus 指标，可通过 npm 全局安装或 Docker 部署；混合会话模式复用 Qwen 服务端历史以减少发送的 token，并自动重试退化为“Yes”类回复的请求。
推荐理由：本地代理方案把 Qwen 网页版封装成 OpenAI 兼容接口，多账号路由、混合会话省 token 和多用户配额等实现细节讲得完整。
/u/Prudent_Appearance71 在 2 张 64GB CMP 170HX 上用 EXL3 3.05bpw 让 GLM-5.3-Flash 目标权重完全驻留 HBM，配合 6bpw DFlash2 草稿模型和环形缓存跑通 384K 上下文，解码约 90 tok/s，配置和脚本已开源在 https://github.com/Flun/glm53-flash-cmp170hx-exl3。
推荐理由：作者在同一台机器上实测两套本地部署方案，把原始推理速度和真实智能体任务完成时间分开对比，思路对搭建类似配置有参考。
johngbl 发布了开源项目 QwenProxy（https://github.com/johngbl/qwenproxy），一个兼容 OpenAI 和 Anthropic 协议的 API 网关，将 Claude Code CLI、OpenAI Codex、OpenCode、Cursor、Zed 等编码智能体桥接到 chat.qwen.ai。它提供 /v1/messages、/v1/responses、图片与视频生成等端点，支持多账号轮换与自动故障转移，单 Chromium 实例约 200MB 内存；thread-temp 模式每次请求仅约 1KB 增量负载、TTFB 约 0.6s–1.2s，可用 qpx sync 一键配置各编码智能体。
推荐理由：原文详细给出四会话模式、多账号轮换和各编码智能体的一键接入配置，读者可以按需迁移到本地开发环境。
WebSlice 发布，可将大语言模型切分到同一房间内多台设备的浏览器标签页，通过 WebRTC 传递 10 KB 激活向量协同推理，无需安装或服务器。支持 Qwen 3.8 27B（15 GB Q4_0 权重），演示在 MacBook 加 iPhone 上以 10.7 tok/s 生成 400 tokens；GB10 上 plain 解码 9.0 tok/s、推测解码 16.1 tok/s，同文件同 GPU 的原生 llama.cpp 为 8.0 tok/s。默认启用 Groq Cloud 模式会把提示词和对话历史发送到 Groq，需手动关闭才走本地 WebGPU 推理。
推荐理由：原文给出 WebGPU 内核设计、与 llama.cpp 同机对照的实测数据，读者可以据此评估浏览器分片推理的实际水平。
该仓库提供在AMD RX 9070 XT（16 GB）上以ExLlamaV3加TabbyAPI运行Qwen3.8-27B EXL3 3.0 bpw的完整脚本，作为OpenAI兼容本地服务器，支持128k上下文、工具调用和图像输入。配合RDNA4补丁和3.0 bpw DFlash2草稿模型做投机解码，短上下文代码生成约130 tok/s，128k下约100 tok/s，对话约55-65 tok/s，WMMA GEMV使草稿验证开销从1.55x降到约1.16x，DeltaNet replay节省约1 GB显存。项目独立，代码由Claude Opus 5.5编写并经GPT-6.1 Sol审阅。
推荐理由：README给出了RDNA4上跑Qwen3.8-27B的完整补丁、基准数字和一键脚本，方法可直接复用到同款AMD显卡。
Flant 的 Александр Подмосковный 发布 hardfest-gpu-workshop 实战教程，从手动运行 Gemma 开始，测算 KV cache 内存、启用 prefix cache 与 CPU offload、chunked prefill 和 speculative decoding（MTP），再通过 AI Inference 平台复现同一配置作对比。
推荐理由：作者以自己的实验台手把手推导 KV cache 计算并逐项验证各优化机制，方法论清晰，可迁移到自己的推理部署调优。
作者 Hadi 对 XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B（MIT 许可）做拒绝消融，在 Hugging Face 发布 Flexingmeow/MiMo-V2.6-Distill-Qwen-9B-Abliterated（D 激进变体），拒绝率从 78.1% 降到 9.4%，数学推理准确率保持 100%，困惑度变化小于 0.03 NLL。因 qwen3_5 混合注意力架构不被现有工具支持，作者自写了基于 transformers 的管线，全程 CPU 完成。关键发现是拒绝方向必须从生成的回复区提取，在提示词末 token 提取的方向消融后无效（KL ≈ 1e-7，拒绝率不变）；作者也提示评测集较小且微调可能重新引入拒绝。
推荐理由：原文给出完整消融方法、拒绝率前后数据和评估局限，还提出推理模型需在生成区提取拒绝方向的可迁移结论。
Keys（drowzeys）在 GitHub 发布完整 4-bit 推理配方，将 abliterated 版 aday777/Qwen3.8-27B-ARA 通过 eugr vLLM 0.27 GB10 构建部署在单台 NVIDIA DGX Spark（121 GB UMA）上。核心是把 vLLM PR #49891 的 FA2 NVFP4-KV 路径回移植到 sm_121a，使 KV 池从约 2.1M token 翻倍到 4.34M，实现 1M 上下文约 4.14× 并发；A4Q 原生 fp4-QKᵀ 带来 48–96K 下 prefill +8–10%、TTFT −7–9%，decode 中性（同模型 A/B 实测）。
推荐理由：原文给出单卡 DGX Spark 跑通 1M 上下文的完整方法、逐项实测日志和未奏效的记录，可作为 GB10 量化推理栈的可复现参考。
Paata28b 发布基于 Qwen3.5-9B 多模态模型的本地一体化部署仓库 Qwen3.5-9B-ToolHub，推理在本机 GPU 完成，支持联网搜索并附来源、上传图片提问、只读浏览本机文件和内置思维链。需要 Windows 10/11、≥8 GB 显存的 NVIDIA 显卡和 Python 3.10+，首次运行下载约 6 GB 模型，启动 30–60 秒，并提供 Docker Compose、WSL 和 Q8 量化（约 10.2 GB，显存 ≥12 GB）三条备选路线，对外暴露 OpenAI 兼容 API（http://127.0.0.1:8080/v1）。底层使用 llama.cpp 作为 GGUF 推理引擎。
推荐理由：原文给出完整的硬件要求、安装步骤和三条部署路线，本地跑通 Qwen3.5-9B 多模态加工具调用可以照做。