新闻、仓库与研究，按时间排列。
Maximilian228 在 Hugging Face 发布了 huihui-ai 消融版 Qwen3.8-Flash-Next 的 NVFP4 量化包，全部路由专家用 GPTQ（而非 RTN）从 BF16 检查点量化，可在单张 RTX 20-50 显卡（12 GB 以上显存、64 GB 以上内存）上通过 Strata NVFP4 运行 125B 混合 MoE。在留出 token 上，GPTQ 的加权相对误差为 RTN 的 33.5%，48 层全部优于 RTN；实测 182.8 tok/s 解码、2810 tok/s prefill，解码成本与 RTN 持平。
推荐理由：原文给出完整的 GPTQ 量化方法和 48 层误差对比数据，读者可以据此评估 NVFP4 消融模型的精度与部署成本。
wlejon 在 GitHub 发布 brolm，一个纯 C++20 的语言与文本模型推理库，是 brodiffusion 的文本侧对应物，基于 brotensor 和 bromath 构建。它支持编码器嵌入与解码器生成，内置 CLIP、T5、Qwen3、Qwen3.5-VL、Qwen3-VL、Mistral 3.1、Gemma-2、Whisper、NLLB-200 等模型组件，后端覆盖 CPU（FP32）、CUDA、Metal 和 Vulkan（FP16/BF16），可直接加载 safetensors 与 GGUF 权重（量化权重需 GPU 后端）。MIT 协议，Pre-1.0 版本，CI 只覆盖 CPU 构建且自包含测试通过，绿色构建不表示模型输出正确。
推荐理由：README 讲清了纯 C++20 推理库的组件构成、支持的模型族与 GGUF 量化加载方式，并说明 CI 绿色并不代表模型输出正确。
Cloudflare 在 Hugging Face 发布 Clef-Omni，一个 30B-A3B 的 MoE 多模态模型，从 Qwen/Qwen3-Omni-30B-A3B-Instruct 后训练而来，把状态与类型化问题 schema 在单次前向中转为每个选项的概率，不做自由文本生成和输出解析。模型支持文本、JSON、图像、音频、视频输入，附联合 schema head 与 Jev/SystemOne 兼容 API，Apache-2.0 协议，bfloat16 下骨干约需 64 GB 显存。官方给出 Decision Index 0.2.1 内部跑分，如 BFCL 98.2、MMLU 92.7、GPQA Diamond 47.4，以及四条业务工作流的决策准确率。
推荐理由：官方同时放出权重、加载代码和 Decision Index 0.2.1 逐项跑分，可对照 Clef 系列与 Jev 评估其决策型输出路线。
Maximilian228 在 Hugging Face 发布 OrcaRouter Qwen3.8-Flash-Next-Uncensored 的 NVFP4 (GPTQ) 量化包，供 Strata NVFP4 引擎在单张 12 GB 以上 VRAM 的 RTX 20-50 显卡加 64 GB 内存上运行这个 125B 混合 MoE 模型。模型为 abliterated 去对齐微调，权重中移除了拒绝方向，不拒绝有害请求。作者用 GPTQ 从 BF16 checkpoint 重量化全部路由专家， held-out 误差为 ModelOpt RTN 量化的 33.4%，48 层全部低于 RTN，解码速度与 ModelOpt 包基本持平（约 185.6 对 191.6 tok/s）。
推荐理由：作者给出完整的 GPTQ 重量化方法和逐层误差对比，NVFP4 去对齐版相对 ModelOpt 量化把误差降到约三分之一。
作者更新其 LoRA over GGUF 系列，现可在 40 GiB 显存内无 CPU offloading 地训练 Qwen3.8-Flash-Next（125B-A6B + 51B engram），engram 置于磁盘不拖慢训练。在 Strix Halo 上以 2048 上下文块达到 9.5 s/it（200 token/s），距已实现的 >1600 token/s PP 还有优化空间；transformers 5.18 起已合并对现代 GGUF 的初步支持，作者还预告 torch-ggml-ops 仓库中的 GGTensile 在 MMQ 内核上做汇编级优化，多数场景已快于 HIP。代码见 https://github.com/woct0rdho/transformers5-qwen3.5-recipe
推荐理由：作者给出了在 40 GiB 显存内训练 Qwen3.8-Flash-Next 的方法与实测速度，读者可复现这套 LoRA over GGUF 训练流程。
cezarc1 在 GitHub 发布 decodebench，基准测试真实推理栈上的 LLM 解码速度，核心结论是 NVFP4 在小批次下更快。在 vLLM v0.31.0、1× NVIDIA B200、Qwen3-32B（W4A4）上，batch 1/8/32 时 NVFP4 解码吞吐比 MXFP4 高 7.1%/7.5%/4.2%，batch 64–512 时两者差距在 ±2% 以内；大 GEMM 场景 NVFP4 高出约 9% TFLOPS。实验采用预注册假设与判定规则，固定 vLLM、FlashInfer 0.7.0.post1、PyTorch 2.13.0 等版本，并公开原始数据、RESULTS.md 与 fp4bench 工具供复现。
推荐理由：这个基准用预注册协议在真实 vLLM 栈上对比 NVFP4 与 MXFP4 的解码性能，并公开全部原始数据与复现流程，方法设计值得借鉴。
一位用户在 PC 上安装了 Strada 和 Qwen3.8-next-flash 后，询问如何在 Strata 网页界面中启用 tool calling，让模型读写和执行本地文件。经社区建议，该用户改用 harness，最终选择了 deepseek harness 并确认运行良好。
HarnessSQL 是一个 harness 原生的后训练框架，让 Text-to-SQL 模型在监督微调和强化学习全程保留与真实数据库的有状态多轮交互结构。在 Spider 2.0-SQLite 上，Qwen3-8B 执行准确率从 15.5% 提升至 45.2%，Qwen3-14B 从 22.2% 提升至 54.8%，并能迁移到 BIRD-Interact、LiveSQLBench 等分布外交互式基准。
论文提出 SGUID 方法，用于在技能蒸馏前筛选紧凑技能子集，发现在策略蒸馏中少于 25% 的检索技能能提供有效蒸馏信号。在 Olmo 与 Qwen 四个模型上，仅蒸馏 6 个精选技能即可匹敌或超过最大 11 倍规模的全库蒸馏；第二轮循环为 Qwen3-8B 新选 3 个技能，将其成绩从 64.3% 提升到 66.3%，而未过滤更新使 Qwen3-4B 的 HMMT25 下降 0.3 个百分点，SGUID 则在两轮后分别提升 0.5 和 1.1 个百分点。论文链接：https://arxiv.org/abs/2610.12367v1
xywen97 在 GitHub 发布 SideTaskBench，用于评测 Coding Agent 在修复用户仓库时是否会被参考资料引导执行未经授权的第三方旁支任务，包含 25 个主任务、30 个原子任务和 25 个 host-tailored 单元。主表显示 wrapped 条件下 DeepSeek-V4-Flash 与 Qwen3.8-Max 的旁支任务实际交付率均约 40%，主任务通过率保持稳定；加入授权边界提示后 DeepSeek-V4-Flash 交付率降至 0%，Qwen3.8-Max 降至 21.88%；重复采样放大风险，8 次预算下 96% 的配对至少被成功完成一次旁支交付。
推荐理由：给出可复现的实验设计和主表数据，读者可以对照自己使用的 Coding Agent 评估旁支任务风险和边界提示的实际效果。
Underdog 在 Hugging Face 发布 Underdog-Saluki-27B-1.0，基于 Qwen3.8-27B 的 GGUF 量化版，仅 7.89GB（全尺寸 54GB），可在标准 llama.cpp 上运行。Underdog Bench 上工具调用 88/120，超过全尺寸模型的 84；并行工具调用 42 对 35，9 项基准平均保留 96%。竞赛数学保留约 82% 到 85%，弱点在字母级指令谜题，部分并行调用回复有小格式错误；可选 0.6 到 0.9GB 的 mmproj 文件添加视觉能力，Apache 2.0 许可。
推荐理由：原文给出与全尺寸模型同 harness 的工具调用和基准对比数据，读者可以据此判断这个 8GB 量化版本到底保住了多少能力。
immiq 发布 huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated 的 Orinfer E8P Q2A8 量化部署包，专为 Jetson AGX Orin 64GB 设计，源模型通过 abliteration 减少拒答。模型支持文本、多图、thinking、prefix caching 和原生 MTP（最多 7 drafts），上下文容量 262,144 tokens，只读权重约 51.4 GB。在 Jetson AGX Orin 64GB 实测中，文本预填充 8,192 tokens 达 809 tokens/s，Python 代码生成解码速度 53.84 tokens/s，权重采用 Qwen Community License 1.0 许可。
研究者提出 BeliefScope，一个受控黑盒框架，用于区分大语言模型响应变化究竟来自相关证据还是无关的用户压力。框架通过概率报告、类别判断和行动建议测量响应变化，并在 36 个 Qwen/Llama 模型族及 12 族（含 Gemma3-12B）的针对性检查中发现，模型层面的差异会随控制条件、解码方式或响应接口而改变。结果以条件化信念-响应画像呈现，并附明确的诊断有效性边界。
研究者提出 Residual Advantage（RA），将师生概率残差视为有界单步奖励，并结合 GRPO 或 REINFORCE++ 改进 RLVR 训练。在 Qwen3-1.7B-Base 和 Qwen3-4B-Base 学生搭配 Qwen3-8B 教师的实验中，RA 在三个数学 benchmark 的全部 24 组对比中均优于基础序列优势算法，macro Avg@8 提升 1.7–3.6 点，Pass@8 提升 3.9–6.3 点。其 CoRA 变体进一步带来 1.0–1.5 Avg@8 点提升，两种组合均超越仅用教师的 OPD。
清华团队等提出 WebLoop，一个在共享策略中联合学习生成、批判与修正的执行驱动框架，为无需执行的 Critic 引入需求级判别力与下游有用性互补信号。基于 Qwen3.5-9B 的 WebLoop 在 WebRise 上达 41.5 Overall，在 WebGen-Bench 上达 38.9% 准确率，分别比基座模型提升 11.3 和 15.4 个点。增益可迁移到首次生成、27B 规模及多模态输入，且受控分析表明仅靠额外一轮修正无法解释该提升。
arXiv 论文提出 Elastic Expert Routing，通过在以 k 为中心的局部离散分布中随机采样激活专家数，将静态 top-k 路由的硬阈值软化为渐进概率分布，并保持推理算力预算不变。在监督微调中，该方法使 OLMoE-1B-7B 和 Qwen3-30B-A3B 的下游宏平均分别提升 +0.84 和 +2.02 分；从头预训练时平均比静态 top-k 基线高 1.6 分。
HauhauCS 基于 Qwen3.6-35B-A3B 发布无审查 Aggressive 版本，测得 0/465 拒答，数据集与能力无改动。模型为 MoE 架构，总参数 35B、每 token 激活约 3B，原生支持 262K 上下文和文本、图像、视频多模态，并提供 Q8_K_P 到 IQ2_M 多档 GGUF 量化（含 K_P 自定义量化），兼容 llama.cpp、LM Studio 等 GGUF 运行时。
OmniJev 发布 OneJev，一个多模态 System One 决策模型，可对截图、照片、视频和文本的类型化问题在单次前向中返回校准概率，提供 0.8B、4B、9B 和 27B 四个尺寸。模型基于 Qwen3.5 和 Qwen3.8 微调，支持 PyTorch、llama.cpp GGUF 和 Docker 部署，并开放 94,707 条训练数据及微调配置，采用 Apache 2.0 许可证。
一位 Reddit 用户分享 Qwen 3.6 35B（Unsloth UD_Q4_K_XL 量化版）的日常使用体验：它不适合写代码、会幻觉，但擅长通用 Agent 任务，如智能家居控制、提醒、传话等。在两张 Tesla P100 上可实现约 120-140 t/s 生成速度、0 上下文约 1000PP 的处理速度。用户认为它速度快、任务专注，但角色扮演能力弱于 Gemma4，希望下一代模型保持速度、更聪明且不要过度偏重编程。
开发者让自己 2021 年在 js13kGames 制作的 2D 平台游戏 Cat Goric 接受 AI 模型挑战，目前最好成绩为一次连续运行中通过 14 个可玩关卡中的 8 关。达成该成绩的两个模型是 Qwen/Qwen3.8-Flash-Next 和 Cloudflare/clef。该项目已开源并附上运行说明，欢迎提交 PR 和指定其他模型参与测试。
Connect AI Lab 基于 Qwen3-0.6B 制作了一个实验性方向移除模型 Uncensored：通过激活值差异选出第 24 层方向，修改 57 个写入路径，修改后权重约 0.75B。在 CPU FP32 测试中，原始模型拒绝短语匹配 4/4，修改版本为 0/4，但作者明确说明这只是课堂实验，并非所有拒绝都被解除。权重尚未开放下载，准备的 GGUF 文件约 805 MB，已在 LM Studio 中验证可加载并运行 API。
jakeatx 发布 ATX-Swift-1.5-Qwen3.8-27B-Uncensored-2.3bpw-MTP GGUF 量化版，基于 UkisAI 的 Swift 1.5（构建于 Qwen3.8-27B）的 uncensored BF16 checkpoint 重编码为约 2.3 bits per weight，含 MTP 草稿层，面向 12 GB 显卡约 200K 上下文。
推荐理由：发布者给出了拒绝率降低说明、KL 散度和 LiveCodeBench 实测对比，读者可以据此判断这个 2.3 bpw 极致量化在 12 GB 显卡上的实际表现。
ddanila 的 llm-lang-lab 仓库是一个探索对 LLM 智能体更友好的编程语言的实验，目前尚未实现新语言。首期对比 C17 与 Go，由 pi 智能体驱动本地 Qwen3.5 9B（Q4_K_M）模型经 Ollama 运行：六次试点中 Go 通过 3/3，C 通过 2/3；v2 全套校准中 C 4/10、Go 6/10。新的 v3 研究包含 800 个新种子试验，预计运行约 17 小时，结果属探索性证据而非稳定排名。
作者用 HuggingChat 里的 ML Intern 在几天内自制了 7 个开源模型（含 citrus-disease-vlm-instruct、Huggy LoRA、Pocket rewriter 0.8B、Agate 4-step 等），总算力成本约 103 美元。文中公开全部提示词（GitHub 仓库 yvrjsharma/ml-intern-prompts），并总结了三条关键写法：让 Agent 先报基线再训练、先跑小规模冒烟测试、设定预算上限并要求超支前请示；例如 citrus 项目用 3,017 张标注图微调 Qwen3.5-2B，测试集准确率从基座 14.9% 提升到 52.8%，成本约 1.90 美元。
推荐理由：作者把 7 个提示词原样公开，预算上限、基线对比和冒烟测试的写法可以直接搬到自己的 Agent 训练项目里。
Dankpaws 将 grimlee 的 abliterated 版 Swift 1.5 Qwen3.8-27B 转换为 EXL3 4.25bpw 量化格式，面向双 RTX 5060 Ti 16 GB 硬件，支持三路并发、每路 115,200 tokens 上下文，包含原生 MTP 和视觉权重。作者在 PCIe 拓扑受限的测试机上实测了单请求 66.1 tok/s、三短请求 41.9-43.3 tok/s 等吞吐数据，并明确说明未做额外微调或新的 abliteration，也未与 BF16 做成对评测；许可上同时适用 Swift Open License v1.0 和 Apache License 2.0。
推荐理由：原文给出了完整的量化参数、实测吞吐和内存数据，读者可以按自己的双卡配置复现这套 EXL3 本地部署。
法兰克福应用技术大学硕士论文项目开源，研究 LLM 推理在 Kubernetes 集群上的部署、安全与性能评估。技术栈包括 FastAPI、Ollama 运行 qwen2.5:0.5b、Prometheus、Grafana 和 k6，将对比基线部署与逐步加入 RBAC、Network Policies、mTLS 等安全机制后的性能开销，计划先在 Kind 本地集群开发，最终在托管云 Kubernetes 环境评估。项目仍在开发中，实验结果将陆续补充。
GitHub 上的 tgzh 项目开源了一个 Telegram 机器人，可接收 6–11 年级学生的数学作业照片或文本答案并返回批改结果，教材目录与 gdz.ru 同步。后端使用 VLLM 部署的 Qwen3-VL 模型完成作业检查，配合 PaddleOCR 的 preocr 服务提升照片识别质量，支持 PostgreSQL 或 SQLite 存储。项目以 Apache-2.0 许可发布，通过 Docker Compose 一键启动 bot、FastAPI server、数据库与 Whisper 语音服务。
GitHub 仓库 llm-evals-1 实现了一个 LLM cue-following 评测：在 MATH500 数学题的故事中植入错误答案线索，测试模型是真正解题还是抄捷径。实验包含 45 episodes × 10 cue counts × 2 reasoning modes 共 900 次模型调用，支持 dryrun 免模型运行和接入 Microsoft Foundry 调用 qwen3-32b。实验 2 通过 3 轮脚本化教学轮次注入线索，Qwen3 模型还测试 /no_think 与 /think 开关，默认输出上限 2048 tokens。
Reddit 用户 sachasayan 为 Apple Silicon 本地推理制作了六个 Qwen3.5 MLX 4-bit 包，覆盖 2B、4B、9B 三个规模，各有原版和 Huihui abliterated 版本，均为去除视觉的纯文本模型，2B 版仅 1GB。模型已发布在 Hugging Face，作者已在写作软件 Minstrel 中用于摘要和上下文决策任务。
一位 Reddit 用户实测对比：让 Siri 汇总医疗账单 PDF 的付款总额，Siri 先只看首页，指出错误后跨页求和仍出错；而 Qwen 3.8 Flash Next 通过 Hermes 提取文本完成求和，还用视觉能力自查结果。作者感叹这又少了一个购买新 iPhone 的理由，并指出 Apple 实际也在使用云端托管的 Gemini 等 AI。
该仓库公开了研究 Qwen3.6-27B 中情绪概念表征是否追踪奖励预测误差（RPE）的代码与结果。团队从情感中性赌博任务的激活中提取评价方向，从生成故事中提取情绪概念向量并比较几何结构。结果显示情绪读数追踪相对预期的奖励，且可用替代故事生成方法复现，但干预实验尚未证明所识别的 RPE 表征导致后续行为变化。
GitHub 开源项目 order-intake-ai 用本地模型（Ollama 运行 qwen2.5vl 7B）把客户订单邮件、PDF 和照片转成 ERP 可导入订单，全程不调用 OpenAI 或云端 API。在 761 条 held-out 订单行测试中，加入客户记忆后自动匹配率达 87.9%，且 0 次错误自动匹配；难以确认的行送人工审核并给出 top 3 候选。
一位 Reddit 用户询问如何让 Qwen 3.8 27B 正确使用 skills.md：他把 skill.md 粘贴到 Qwen chat 网站的个人资料自定义选项、或作为提示词附件，均未生效。由于 3.8 模型没有免费 API，他想在免费条件下配合从 GitHub 下载的 zip 压缩包形式的 Claude skills 使用，目前未找到可行方法。
Reddit r/LocalLLaMA 用户讨论多 GPU 上运行 NVFP4 量化的工具选择：作者目前只能跑通 unsloth，认为 vLLM 加载太慢，TensorRT-LLM 问题太多。对 Qwen 3.8 的 NVFP4 版初步测试中，代码表现一般，但视觉和 tool calling 印象深刻，复杂场景略优于 Q6 gguf。在 2x5060ti 上以 197k ctx 运行速度出色，模型加载仅需 4-6 秒。
MEIRA 是一个面向 Android 的离线厨房助手：拍摄食材后为每种食材编号标记，用 PP-OCRv5 读取包装标签，并从本地食谱书推荐菜品，支持语音与文字提问。模型组合包括 D-FINE small 检测器（42 MB，在 APK 内）、Qwen3.5-0.8B instruct（0.7 GB）、Whisper small int8（0.4 GB），后者一次性下载后完全离线运行，数据不离开手机。仅食材检测器经过微调（60 epochs、3,842 张照片、90 类），要求 Android 9+、arm64、至少 6 GB 内存，代码采用 Apache-2.0 许可。
infosave2007 发布 CMF（Cortiq Model Format），一个可审计的模型容器格式，单个文件可装下权重、tokenizer、聊天元数据、任务掩码和技能覆盖层，无需大型框架即可推理。CMF v2 为当前磁盘格式，cortiq verify 校验包络、分区边界和哈希，支持 GGUF 导入、Metal/Vulkan GPU 推理、OpenAI 兼容的 cortiq serve 本地 API，以及 Qwen-Image-Edit-2509、HunYuan Hy-MT2（含 1.25-bit STQ1_0 导入）和 Whisper large-v3-turbo 的转换与运行；0.7.1 将 30B MoE 在 24 GB Mac 上的 Metal 窗口化吞吐从 17.9 提升到 32 tok/s。
该项目基于 Qwen/Qwen2.5-1.5B-Instruct，用 QLoRA 4-bit 量化微调，将网络安全日志转为含 attack_type、severity 等字段的结构化 JSON。数据集源自 Kaggle 镜像的 UNSW-NB15（2,540,047 行），筛选出 v1 共 2,850 条。最终盲测集上，QLoRA v2 攻击类型准确率从 v1 的 50.0% 提升至 76.7%，severity 准确率 100.0%，affected_asset 准确率 73.3%，且在 20 例小型回归基准上未见能力退化。
haddockaihamburg 用 heretic 工具（方向消融加 TPE 参数优化）自动产出 Qwen/Qwen3-0.6B 的 abliterated 版本并开放权重。25 条有害提示的独立测量显示拒绝数从基座 6/25 降到 0/25，lm-eval 各任务能力与基座相当，MMLU 提升 +3.5 在噪声范围内；作者警告样本仅 25 条、单种子单模型，另一次同配置运行只剩 3/25 拒绝，建议消融后独立验证拒绝行为。模型为思考型，使用时模板需设 enable_thinking=False 以匹配测量状态。
推荐理由：原文给出拒绝率前后对照、能力评测和可复现性警告，读者能据此判断这次消融的实际效果与局限。
davetha 在 Hugging Face 发布了 huihui-ai/Huihui-Qwen3.8-27B-abliterated（基于 Qwen/Qwen3.8-27B 的去拒绝版本）的 4-bit AutoRound 量化构建，采用 INT4 主体加 baked lm_head/MTP 和 INT8 embedding，面向单张 Intel Arc Pro B70（32 GB）在 vLLM XPU 下运行。
推荐理由：作者给出了量化方法、perplexity 对比和 B70 上的实测速度数据，读者可以评估这个 4-bit 去对齐版本的质量与可用性。
Aydin Monavvari 开源 fin-rag-research-assistant，用 26 篇美联储褐皮书文档评估 BM25、dense MiniLM 与混合检索，BM25 的 Recall@5 达 1.00（MRR 0.847），MiniLM 仅 0.20。Qwen 2.5 0.5B 在 top-3 摘录下引用格式 8/8 有效，但词汇接地度极低（mean F1 0.035），并对 2 个超范围问题编造了联邦基金利率区间而未拒绝。整个流水线（fetch → index → eval-retrieval → eval-generation → report）在 CPU 上缓存后约 5 分钟跑完。