模型与平台
阿里千问系列的开源权重发布、量化版与社区衍生变体。
129 条精选近 30 天 128 条共收录 448 条
作者在 RuMedTop3（俄语患者主诉预测 ICD-10 编码，105 类，测试集 n=822）上对比了 TF-IDF、DeepSeek 提示/RAG、Qwen3-8B QLoRA 与 Kev-0.8B 直选五种方法。TF-IDF+逻辑回归 Hit@1 49.03 / Hit@3 72.63，零样本 DeepSeek 仅约 33；Qwen3-8B 在 Apple M2 Pro 上用 MLX 训练一轮 QLoRA（6 小时 32 分钟），Hit@1 从基座 7.66 提升到 35.64（配对差 +27.98 点）但仍低于 TF-IDF；Kev-0.8B 零样本 Hit@1 12.41，迁移效果差，中位推理延迟 523 ms。
推荐理由：同一测试集上系统对比了线性基线、API 提示、RAG、QLoRA 和小型模型直选五种方案，并给出置信区间与配对差异，结论克制可复核。
作者在单张 RTX 2080 Ti 22GB 上用 Unsloth UD-IQ4_XS 4-bit 量化实测 Qwen3.6-35B-A3B，HumanEval 全部 164 题 pass@1 达 89.63%（147/164）。随后对自制的 MoE expansion 路由补丁做受控 A/B：在最后 15 层（25–39）每 token 激活 20 个专家而非原生 top-8，无需重训或改文件，pass@1 升至 90.85%（149/164），解码速度从 69 tok/s 降至 56 tok/s（约 -19%）。作者提示 +2 题在 164 题的统计噪声范围内，且用的是原始 HumanEval 而非 EvalPlus，不能与 EvalPlus 榜单直接对比。
推荐理由：作者给出了同机同量化下的受控 A/B 数据和解码速度代价，读者可以据此自行判断该路由补丁是否值得用。
SpookyJumpyBeans 在 GitHub 发布 nanoinfer，一个从零编写的 LLM 推理引擎，目标模型为 Qwen2.5-0.5B-Instruct，直接加载原始 .safetensors，运行时仅依赖 numpy，tokenizer、前向传播、KV cache、采样和量化均为自行实现。分八个阶段对照 transformers 和 llama.cpp 逐项验证，包括 KV cache 带来 3.5 倍加速、INT8 量化仅 +0.17% 困惑度、Rust AVX2 内核比 OpenBLAS 快 22%，以及 f32 解码与 llama.cpp 基本持平；并配有可视化页面展示每步候选 token 和注意力。
推荐理由：作者从零实现了一个推理引擎并用逐阶段基准量化每一步的收益，读者可以从中借鉴带宽瓶颈、量化和内核优化的可迁移测量方法。
论文提出 VisionWeave，让多模态大语言模型端到端学习在何处及以何种粒度分配视觉表征。方法结合门控空间池化器与粒度路由器，通过自蒸馏在 Qwen3.5-4B 上验证并扩展到 Qwen3.8-27B，训练耗资超过 30K A100 GPU 小时。基于 Qwen3.8-27B，该方法在八个基准上平均节省 43.0% token 并保留 98.9% 原生性能，优于固定 50% 节省目标下仅保留 88% 性能的 token 剪枝基线；部署于 SGLang 时吞吐提升 2.3x，平均 TTFT 降低 54.4%，平均 TPOT 降低 60.6%。
推荐理由：论文给出了弹性视觉表征的端到端训练方案与 token 节省、性能保持和部署吞吐的实测数据，读者可对比 token 剪枝基线评估其取舍。
作者发布 llama.cpp 的 fork focus-llama，将物理 KV 缓冲与逻辑上下文解耦，逻辑上下文保持 256k 而物理缓冲上限约 85k cells，旧块卸载到外部存储按需取回。在单张 RTX 5090 上运行 Qwen3.8-27B UD-Q6_K_XL 并启用自适应 MTP 投机解码，平均速度 110+ t/s，日志显示生成速度稳定在约 117-123 t/s；项目基于 Google DeepMind 提出的 declarative attention 与 skill.state 两种技术，代码与配置见 https://github.com/edwardyoon/focus-llama/blob/master/README.md。
推荐理由：作者给出了 fork 的 KV 缓冲上限机制、完整启动配置和逐段生成速度日志，可复现单卡 256k 长上下文的高吞吐部署。
作者 Mal1cc 在 Hugging Face 放出 Qwen3.5-9B 的 HERETIC 无审查微调版，用 Unsloth 在本地硬件上以 Claude 4.6 大型蒸馏数据集微调，称将 Qwen 思考替换为 Claude 4.6 式思考且基准有所提升。去审查数据显示 100 题拒绝数从原版 100 降至 6，KL 散度 0.0793；ARC 等 7 项基准给出 thinking、instruct 版与原模型对比分数，视觉输入经测试可用，视频部分未测试。建议最低 q4ks（非 imatrix）或 IQ3S（imatrix）量化，默认上下文 256k，其他版本仍在测试中。
推荐理由：作者给出了各基准的前后对比、KL 散度和 100 题拒绝率数据，读者可以据此自行判断这个去对齐微调版的质量。
MeKaustubh07 在 GitHub 开源了一个从第一性原理用 Python 编写的 LLM 推理引擎，预填充用 PyTorch GEMM、解码用手写 Metal kernel，在 Apple M2 8GB 上以 INT4 通过 OpenAI 兼容 API 服务 Qwen3.5-2B，支持连续批处理、paged KV cache 和打包分块预填充。基准显示单流解码 50 tok/s、batch-8 聚合解码 116 tok/s、HTTP 8 客户端 94 tok/s（TTFT p50 0.84 秒），对比 llama.cpp Q4_1 与 MLX-LM 4-bit，并与 HF transformers 校验精度（INT4 KL 0.045）。
推荐理由：作者从零实现并给出与 HF、llama.cpp、MLX-LM 的逐项对比和精度数据，方法与权衡都可复查。
/u/Kernoriordan 在 16GB RTX 5080 上用 NInfer v1.5（Ubuntu 24.04 经 WSL2）运行 Qwen 3.8 27B，分配 110,592 上下文，编码任务实测中位解码 96.45t/s（最低 84.6、最高 131.7），中位首 token 时间 1.4 秒。
推荐理由：作者给出 32 次真实编码请求的解码速度、TTFT 和显存占用数据，可复现的启动参数对 16GB 显卡本地部署有直接参考。
mucahitrtn 开源了 colab-code 项目，提供在 Colab GPU 上以 BF16 运行 Qwen3.8-27B、并在本地终端用 Cline 编码智能体读写文件和跑测试的完整配方。
推荐理由：原文给出了在 Colab GPU 上跑 Qwen3.8-27B BF16 并接本地 Cline 的完整配方和实测记录，适合想复用闲置 GPU 额度的人参考。
grimlee 在 Hugging Face 发布 ukisai/Swift-1.5-Qwen3.8-27b 的去对齐衍生版本，采用 pos46/FULL/lambda=1.2 的拒绝方向投影，修改 131 个张量。
推荐理由：原文给出拒绝方向投影方法与成对评测数据，读者可据此判断该去对齐版本在拒绝率与能力保留之间的实际取舍。
HauhauCS 在 Hugging Face 发布 Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF，实测拒绝率 0/465，主打直接回答、无拒绝行为和最少前导语。
推荐理由：原文给出 0/465 拒绝率实测和各量化的 FastMTP 加速数据，读者可据此判断这个 Aggressive 去对齐版本的实际表现。
QwenLM 开源 Qwen Code 编码智能体框架，开箱支持 Auto-Memory、Auto-Skills、SubAgents、Agent Teams 和 MCP。
推荐理由：官方仓库附上了 SWE-bench Verified 500 例的七个版本成绩和与 Claude Code 的功能对照表，读者可据此评估其实际能力。
TopherAU 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的去审查微调版 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF，提供常规与 MTP 两种 NEO imatrix GGUF 量化。
推荐理由：原文给出 Heretic ARA 消融的拒绝率与 KL 散度前后数据，以及 8bit/4bit 下 ARC-C 等基准对比，可据此评估这个去对齐微调的实际效果。
作者发布一个 MoE offloading 研究补丁：路由器首选专家及 gate 权重 ≥ 0.15 的专家等待读取，其余用已在 VRAM 的次优专家替换，使 Qwen3-Next-80B-A3B Q4_K_M 在 RTX 3090 上解码明显快于原版 llama.cpp。
推荐理由：作者实测了 MoE 专家缺失时的替换策略，给出不同内存下与原版 llama.cpp 的解码速度和精度损失数据，可复现。
作者 /u/jeeva1398 发布了 npm 包 eventa，基于 Qwen2.5-Coder-1.5B-Instruct 做 QLoRA 微调（Unsloth，r=16，2 epochs，Q4_K_M，986 MB），在免费 Kaggle T4 上训练约 9 分钟，可完全离线审查 Node.js 代码。
推荐理由：作者公开了数据构成、训练配置和保留集评测数字，还写明了微调版变差的一面，读者可以核对这套小模型微调流程。
/u/lkarlslund 发布了面向 RTX6000 96GB 的 NInfer 分支 NInfer6000，在理想条件下对 Qwen 3.8 Flash Next 跑出 400 tok/s 生成与约 13K tok/s 预填充。
推荐理由：作者给出了从 512 到 256K 多档上下文的 decode 与 prefill 实测数据，可据此评估 RTX6000 上该推理方案的实际收益。
作者提出一种跳过反向传播的闭式轨迹匹配方法，用少量校准提示词和正则化最小二乘直接求解学生模型 MLP 权重，将 Qwen 3.5 4B 能力迁移到 0.8B。
推荐理由：作者给出跳过反向传播的闭式权重迁移方法，并附上失败分析与修复细节，代码和权重均已开源可复现。
作者开源了一个用 QLoRA 在 CUAD（510 份商业合同、35 类条款）上微调 Qwen2.5-7B-Instruct 的项目，覆盖条款分类和有依据的条款问答两项任务，LoRA 适配器（165 MB）已上传 Hugging Face（PimoLee5/qwen2.5-7b-cuad-qlora）。
推荐理由：原文给出基座、3-shot 与微调三组对照的完整指标，并人工审计幻觉标记，可看清微调带来的召回与校准收益及其代价。
Carlos Galarza 发布开源引擎 Slotstream，可将 125B 参数的 Qwen3.8-Flash-Next（约 105 GB）运行在 16-64 GB 内存的 Apple Silicon Mac 上，原理是把共享权重留在内存、按需从 SSD 读取 MoE 专家到缓存。
推荐理由：作者给出了各内存档位的实测速度区间和 0.2.23 版本的 prompt 处理对比数据，读者可以据此判断自己的 Mac 能跑到什么水平。
trillion-labs 在 GitHub 开源 trida-stack，一个把自回归 LLM 转换为 block-diffusion LLM 并提供推理服务的仓库，训练与推理两个栈相互独立。
推荐理由：原文给出了从 AR 到 block-diffusion 的转换方法、损失设计和双后端部署细节，读者可以照着复现训练与推理。