模型与平台
阿里千问系列的开源权重发布、量化版与社区衍生变体。
127 条精选近 30 天 126 条共收录 442 条
/u/iam31337 在 RTX PRO 4000 Blackwell SFF（24 GB，工厂 70 W 无辅助供电）上用修改版 VBIOS 将功率提至 120 W，Qwen3.8 27B 生成从 35.04 提升到 58.53 tok/s（+67%），Qwen3.6 35B A3B 显存 +33.3% 时生成 +19.8%。158 次请求、每配置仅 1-3 次，两模型量化与投机解码设置不同，非严格受控对比；作者提醒 120 W 超出 PCIe 75 W 槽位预算，属实验性结果。全文与 CSV 见 https://piszczek.pl/blog/rtx-pro-4000-blackwell-sff-120w-qwen-benchmark
推荐理由：作者实测同一款卡上两个模型的功耗超频收益差异，给出具体功率与频率参数，并坦承样本量与量化设置的局限。
uotavern 发布 anima3，一个驱动 anima-client 的轻量 System One 大脑：把 Observation 转成文本场景（可访问性树），用代码枚举当前合法动词的闭式菜单，由本地模型按选项字母的 log-probabilities 选择一个，从不生成文本，无需解析且不会答到菜单之外，低置信度时回退到规则自己的首个动词。默认后端为本地 Qwen3-4B（logprob 模式），实测在 M5 上每次决策约 96–150 ms 且 $0；文中给出离线与 ServUO 实机数据，包括 77 个测试、战斗/经济/多人村庄/决斗等场景、置信度门控实测（ECE 0.585）以及实验 3 中 Qwen 自主决策显著差于规则（p < 0.001）的结果。
推荐理由：作者先跑测试再定架构，用闭式动词菜单加 logprob 选择避免文本生成，还给出多场景实测延迟与置信度校准数据，方法可迁移。
/u/Inside-Pen-8395 在 24GB M5 MacBook Air 上以 Splash 1.4.0 的约 800 行 fork 运行 Qwen3.8-Flash-Next Q2 量化，24,576 个专家槽位中约 6,800 个驻留 ~8.8 GB 内存，其余从 SSD 按需流式读取，支持 256K 上下文，解码平均 48.8 t/s（stock 为 28.8）。
推荐理由：作者实测了 Qwen3.8-Flash-Next 在 24GB 内存下的 SSD 专家流式方案，给出解码速度、预填充和 LiveCodeBench 对照数据。
/u/MaxDev0 将 sybil-solutions 的 GLM-5.3 低内存卸载方案移植到更轻量的 Qwen3.8-Flash-Next（125B），通过 NVMe SSD 直接卸载，在 16GB 显存加 8GB 系统内存的 RTX 4090 上实现约 20 tok/s 解码。8k 短上下文为 28–33 tok/s（散文）、19–22 tok/s（代码），prefill 约 1,080 tok/s；262k 满窗口下 20.0 tok/s 解码、约 1,627 tok/s prefill；RTX 3080 Laptop（16GB 显存、32GB 内存）100k 上下文约 18–21 tok/s，峰值显存 15.5GB。现有方案（如 Strata）需把 24k 专家全部驻留约 48–64GB 内存。
推荐理由：作者把 GLM 的高效 NVMe 卸载方案移植到 Qwen3.8-Flash-Next，给出多档显存和上下文下的实测速度数据，可复现。
作者在 3090 上用 Allganize 韩文 RAG 数据集（300 题、64 份 PDF）实测，qwen3.8 27B 开启 thinking 得 77.3%，Opus 5.5 得 76.6%，McNemar 检验 p=0.82 属于打平。Opus 5.5 的 70 次失败中仅 25 次是模型问题，22 次源于无文本层的扫描页，作者认为瓶颈在 PDF 解析而非模型；韩文形态学分词器把 BM25 的 hit@5 从 56% 提到 80%，gpt-oss 20B 在把 token 上限从 1024 提到 8192 后从 57.5% 升至 69.6%。
推荐理由：作者用带标准答案的韩文 RAG 数据集实测并给出 McNemar 检验和失败归因，还指出 PDF 解析而非模型才是瓶颈。
参赛队「广州智行科技」开源千问杯多模态推理大赛最终第3名（获2万元奖金）的完整方案：在 Qwen3.5-0.8B 上先蒸馏 Qwen3.6-27B 的 113K 样本做 SFT（初赛 41.8 分压线晋级），再用 GRPO 30 步小剂量 RL（决赛榜 20.2 分，第 9/20），答辩后终评第 3。仓库公开训练/导出脚本、真实日志与技术报告，权重托管于 Hugging Face；核心发现包括 RL 剂量轴在 30 步达峰、同权重 ZIP CRC 消融证明采样解码白送约 3 分、0.8B 模型 RL 池内学习量与平台分强反相关。
推荐理由：作者用同权重 CRC 消融和剂量轴实验分离出每个增量的因果证据，0.8B 小模型 RL 剂量与遗忘的权衡刻画对类似场景可迁移。
作者用两台 £299.99 的 Lenovo IdeaCentre Mini（Snapdragon X X1-26-100，32GB LPDDR5，无 GPU）以 USB4 相连，实测 llama.cpp、Janas 和自研 ToRc 引擎跑量化模型的读写速度。统一测试负载下，ToRc 双机跑 Qwen3.6 35B A3B Q4_0 达 315/43.3 tok/s（读/写），编码对话 59.6 tok/s；95GB 的 Qwen3.8 Flash Next IQ4_NL 靠 NVMe 流式读取专家权重，双机达 46.2/20.3 tok/s。MTP 加速依赖文本类型，代码任务普遍提速而 Alice 散文上 llama.cpp 反而变慢。整套方案约 £600、负载功耗各约 35W，ToRc 引擎尚未发布。
推荐理由：作者在两台 300 英镑的骁龙迷你主机上实测多款推理引擎跑 Qwen 大量化模型的读写速度，并给出统一测试负载和完整数据。
fribourgquants 在 Hugging Face 发布基于 Qwen3.8-27B 的多阶段微调 GGUF 版本，主打去对齐与思考 token 缩减。用 Heretic v1.2.0+custom 的 ARA 方法消融后，Stage 1 拒绝数从原版 99/100 降到 0/100，Stage 2 平衡后为 11/100、KL 散度 0.0025；8bit ARC-C 达 0.735、ARC-E 0.882，4bit ARC-C 0.719，均高于原版 Qwen3.8-27B。思考块缩减至原版约 1/2 到 1/10，支持 xhigh/medium/low 三档推理模式；MTP 量化在 Q4_K_S 上约 90 t/s，普通量化约 75 t/s（5090、LMStudio 实测）。
推荐理由：作者给出了 Heretic 消融前后 100 次拒绝数与 KL 散度的对照数据，以及各量化档位的基准分数，可据此评估该去对齐微调的实际效果。
theJuice85 在 Hugging Face 发布面向 Qwen3.8-27B-GGUF（Q4_K_XL）的去对齐 LoRA 适配器 heretic-qwen38-t26，用 directional ablation 搜索找到。实测将硬拒绝率从基座的 33-86% 降到约 0，能力评测（AIME24、GPQA、MMLU Pro 等 43 个成对项）未发现可统计的能力损失；仅 2.5 MB，AGPL-3.0-or-later。注意其只评测了拒绝率与能力回归，未评测下游安全性，且系统提示词是必要条件，缺失时模型会以带说教的方式作答。
推荐理由：作者给出成对的拒绝率与能力回归数据，硬拒绝从 33-86% 降到约 0 且能力无可测差异，可据此判断这个去对齐适配器的实际效果。
作者开源了一个基于 LangGraph.js 的 GitLab 代码审查 agent，用 sglang 在两块 4090（PCIe、TP=2）上跑 Qwen3.6-35B-A3B（QuantTrio AWQ 4-bit）。单流解码约 180 tok/s（~50k 上下文）、prefill 9-10k tok/s，8 并发共 985 tok/s；单次审查平均 26 次 LLM 调用、2.3M tokens，已累计 1300+ 次审查，约 70% 的评论被作者采纳解决，约 7% 的运行因模型自我循环而终止。
推荐理由：作者给出双 4090 跑 Qwen3.6-35B-A3B 做代码审查的完整吞吐数据和 1300+ 次实测结果，可复用到自己的本地部署。
GitHub 项目 mentaldesk/simile 发布了一个等距像素风小村庄模拟，NPC 由核心价值、关系指标和事件记忆日志驱动行为与对话，思考通过本机 Claude Code 登录完成，无需 API key。语音用 Qwen3-TTS 在本地生成，Apple Silicon 上经 mlx-audio 推理，句子文本到达后 0.2–0.4 秒出声，生成速度约为播放的 3 倍，只对玩家可闻的对话配音。村庄新闻由 Claude Haiku 分析六个 RSS 源，每源最多 10 条。
推荐理由：仓库文档写清了 NPC 核心数值、关系四指标和记忆日志的设计，读者可以照此复现带记忆的村庄智能体。
alesha-pro 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 abliterated Strata GGUF 量化包，含 S 和 S-small 两种规格，基于 Mirai 的 2-bit trellis 构建，用 huihui-ai 的拒绝方向向量去除拒绝行为。实测 AdvBench 64 条提示中 stock 版拒绝 64 次、加向量后仅 1 次，Alpaca 无害提示基本不受影响。可在 1-2 张 RTX 3090 上运行，S 版解码 82-113 tok/s，支持最高 262144 上下文，需 Linux、CUDA 12.8+ 和约 64 GB 内存。
推荐理由：作者实测了加拒绝向量前后的拒绝数和各档速度内存数据，读者可以据此判断这个去对齐量化包的实际表现。
/u/HauntingMoment 在 r/LocalLLaMA 报告，单工具的裸 IPython harness 在 Terminal-Bench Lite 上用 Qwen3.5-9B 追平了 QwenCode、OpenHands、opencode、Pi 等更重的生产级 harness。测试发现小模型 agent 的大部分随机性来自环境噪声而非模型本身，各 harness 约 25-30% 的调用用于读文件，工具使用更多反映系统提示词而非模型；OpenHands 因默认硬编码 temperature=0.0 最稳定，但同一任务 20 次试验的通过率仍在不同任务间大幅波动。
推荐理由：作者用多 harness 对照实测定位了小模型 agent 波动的来源，并给出约 40 行正则归一化工具输出这一可复用的降噪方法。
/u/FeydRowan 在 2× RTX 5070 Ti + 96 GB DDR5 上整理了可运行 Qwen3.8-27B 和 Flash-Next（125B MoE、6B 激活）的各推理引擎 decode 速度，区分了本人验证与作者自报数据，capy-flash（DFlash2）在 27B 上达 379 tok/s。文中指出 TP 比层切分更快、drafter 可带来 2–3× 加速、单模型内核在 batch 1 下比通用引擎快 2–6×；按本月欧盟含税价折算，两张中端卡每欧元性能比 5090 高 3–10×，且 96 GB DDR5 涨价后约占专家放内存方案成本的 40%。
推荐理由：作者在同一台机器上实测多款推理引擎并按欧元换算每千欧元的 tok/s，还指出 2026 年 RAM 涨价改变了性价比排序。
作者 /u/dead-fish 在两张 CMP 170HX（PCIe Gen2 x4）上优化 Qwen 3.8 Flash Next，使用 W4A16 AutoRound 检查点、修补版 vLLM、流水线并行和原生 MTP 投机解码。8 并发代码请求时单请求解码 116 tok/s、首 token 231 ms，聚合 840 tok/s；prefill 4k–64k 提示为 6,300–7,100 tok/s；HumanEval 157/164（95.7%）、GSM8K 1,271/1,319（96.4%），使用完整 262,144 token 窗口。完整配方、Docker 镜像和补丁见 https://github.com/AlexBrandes/cmp170hx-qwen38-flash-next。
推荐理由：作者给出双 CMP 170HX 跑 Qwen 3.8 Flash Next 的完整配方和分并发吞吐数据，可复现且方法透明。
huginnfork 发布基于 local-inference-lab/Qwen3.8-Flash-Next-FLARE 的 abliterated 版本，对 25,188 个张量中的 24,576 个做了拒绝方向编辑，属于不完整编辑。在 16 条提示词、协议 A（关闭思考）下，未编辑母模型拒绝率 100%，该版本为 18.8%，完整参考版为 0%；作者提醒 n=16 区间较宽，残余拒绝来自未编辑的 612 个注意力、共享专家和嵌入张量。
推荐理由：原文给出拒绝率实测和未编辑张量清单，读者可以据此判断这个不完整消融版本到底去掉了多少对齐。
Lygodactylus 在 Hugging Face 发布 Qwen/Qwen3.8-Flash-Next 的 abliterated 去对齐 BF16 全精度权重，按 Arditi et al. (2024) 方法从残差流中正交化移除拒绝方向，共编辑 149 个残差写入张量，保留完整视觉与视频塔（333 个 visual.* 张量）和 MTP 头。
推荐理由：原文给出按 Arditi et al. 2024 方法消融拒绝方向后的拒绝率与能力对比数据，读者可据此评估这个去对齐版本的实际代价。
Reddit 用户 /u/StayLameBro 将两台游戏 PC、一台 M4 Pro MacBook 和两台 iPhone 17 Pro Max 通过 Ethernet 和 USB-C 串联，分布式运行 48 层、每层 512 专家的 MoE 模型 Qwen3.8 Flash Next。实测 60k 上下文写入 37-39 tok/s、读取 856-895 tok/s，靠流水线投机采样平均每步产出约 2.2 个 token；另一布局单次读取超 164k token，完整 262k 布局在筹备中，代码将发布于 github.com/StayLameBro/backburner。
推荐理由：作者用五台家用设备串行跑 MoE 大模型，给出了各设备分层方案和不同上下文长度的实测速度，方法可复现。
Reddit 用户 /u/Distinct-Pie2389 把内存从 32GB 升到 64GB DDR5-5800 后，在 RTX 4090 24GB 单卡上用 Strata 0.1.45 将 Qwen3.8-Flash-Next 从 IQ2_XS 换成 UD-IQ4_XS，40GiB 专家权重驻留内存、0 次磁盘读取，262K 原生上下文下解码 87-98 t/s，136K 针测试通过，专家缓存命中率约 91%。对比 IQ2_XS 的 140-160 t/s 牺牲了速度，但按 Strata 量化表 UD-IQ4_XS 与 Q8_0 顶部 token 一致率达 88.9%；作者还发现 STRATA_ROUTE_TAIL_SKIP=7 在内存预算模式下使对 Q8_0 的 KL 翻倍，已设为 0。
推荐理由：作者给出从 2-bit 升到 4-bit 后的完整量化档位、显存内存分配和实测速度对比，可迁移到自己的本地部署配置。
tatekuperus 在 Hugging Face 发布基于 Qwen/Qwen3.6-27B 的多阶段微调与合并模型 Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic GGUF 量化版，作者称其为首个在 8bit 和 4bit 下 ARC-C 超过 700 的该规模微调。去审查由 trohrbaugh 用 Heretic v1.2.0+custom 的 Arbitrary-Rank Ablation 方法完成，拒绝率从原版 99/100 降至 4/100，KL 散度 0.0469；作者给出的基准显示该模型在 7 项基准中 6 项超过 Qwen3.6-27B 基座。
推荐理由：作者给出 Heretic 消融方法与去审查前后拒绝率对比，并附多组基准和第三方实测数据，可核对去对齐是否损伤模型能力。