新闻、仓库与研究，按时间排列。
该仓库基于 RTHD 框架，用轻量探针分类器（Safe / AtRisk / Hallucinating）在解码过程中监测医疗 LLM 隐藏状态，实现幻觉早期检测与模拟干预。作者在 Kaggle 上用 4-bit 量化骨干完成了 4 组试点实验，各 20 条轨迹，分别组合 EndoDiag + Qwen3-8B、MedHallu + BioMistral-7B、MedQA + Mistral-7B-Instruct-v0.3、PubMedQA + Llama-3.1-8B-Instruct；四组 EDR@K 均为 100%，平均提前量 14.85–32.50 tokens，模拟幻觉降低 76.9%–100%。作者指出样本量小、标签由启发式生成、干预为模拟而非实时引导解码。
一位 Reddit 用户用本地运行的 unsloth Qwen3.8 Flash Next（UD-Q4_K_XL 量化，跑在 strix halo 上）制作出动态图形视频，证明本地模型也能接近云端大模型的效果。该作品使用与 Opus 5.5 病毒式传播片段相同的 Remotion 动画框架，但经过多轮提示词与引导调整才完成。
/u/jonathanx37 在 r/LocalLLaMA 分享用 llama.cpp 在 8 GB VRAM 上运行 ISTA DASLab 的 3.5 BPW GSQ RCO 量化 Qwen-Flash-Next Coder 的方法。
CrossWordFalcon 是一个可从网页生成完整填字游戏的工具，支持法语、英语、德语、西班牙语、意大利语和葡萄牙语，网格尺寸从 5×5 到 50×50，提供三档难度。它由本地小模型自动生成基于真实词典定义的线索，也可选用 Mistral、Claude 等云端模型并自动回退本地。程序 100% 本地运行，支持 CPU 或 GPU（含 Apple Silicon），推荐配置为 8 核、16 GB 内存和 12 GB 显存的 NVIDIA 显卡。
作者发布自研双卡推理引擎 capy-flash v0.7.4，面向两张 RTX 50 系显卡在 Linux 上做张量并行，支持 Qwen3.8-27B 和 Qwen3.8-Flash-Next。在 2× RTX 5070 Ti 上，Flash-Next NVFP4 解码 178 tok/s、64k prefill 4,828 tok/s，对比 Strata 0.1.45 双卡 NVFP4 短提示词约快 1.5 倍、平均约 1.76 倍；27B 双卡 NVFP4 DFlash2 验证解码 379 tok/s。
推荐理由：作者在同一台机器上给出与 Strata 的逐项对比数据，双卡 NVFP4 场景的提速幅度和适用边界都写得很具体。
AkiYangDev 开源 mini-deepinfer，一个参考 DeepInfer 设计、面向 Ascend 910C 的教学推理引擎，已在 Ascend 910C 上用项目自身前向计算跑通 Qwen3.5-2B 文本生成，教程共十四课。v0.2 把跨轮执行接到文本生成入口，v0.3 开发版新增可控 greedy 投机实验。验证包括短上下文数值与状态处理，跨轮分块九轮十四组 logits 最大差约 2.67e-5，项目采用 Apache-2.0 许可证，与 DeepSeek、SGLang 及华为无官方隶属关系。
作者在 3090 上用 Allganize 韩文 RAG 数据集（300 题、64 份 PDF）实测，qwen3.8 27B 开启 thinking 得 77.3%，Opus 5.5 得 76.6%，McNemar 检验 p=0.82 属于打平。Opus 5.5 的 70 次失败中仅 25 次是模型问题，22 次源于无文本层的扫描页，作者认为瓶颈在 PDF 解析而非模型；韩文形态学分词器把 BM25 的 hit@5 从 56% 提到 80%，gpt-oss 20B 在把 token 上限从 1024 提到 8192 后从 57.5% 升至 69.6%。
推荐理由：作者用带标准答案的韩文 RAG 数据集实测并给出 McNemar 检验和失败归因，还指出 PDF 解析而非模型才是瓶颈。
Badrodro 发布 llm-4bit-quant-formats 仓库，在 Qwen2.5-0.5B、Qwen2.5-1.5B 和 SmolLM2-1.7B 上以 WikiText-2 与 C4 困惑度对比多种 4-bit 权重量化格式。结果显示等困惑度下 trellis 编码比 NVFP4 少需 11–17% 比特、比 INT4 g128 和 MXFP4 少约 15–20%，但加随机 Hadamard 旋转的标量 Lloyd-Max 量化器已能达到 trellis 增益的 6–9% 以内，未达到预先设定的 10% 阈值，因此非均匀标量格式加旋转在更低解码成本下已捕获大部分收益。测试仅覆盖权重、round-to-nearest、0.5–1.7B 小模型，无校准数据与速度能耗测量。
推荐理由：作者预先设定了10%的决策阈值再实测，读者可以据此判断trellis量化是否值得在硬件里加解码器。
Jamer69 在 Hugging Face 上发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本，提供 GGUF、Safetensors 和 MLX 格式，文件大小从 4.00 GB（MLX 4-bit）到 14.23 GB（BF16）不等，推荐 GGUF 使用 Q4_K_M（4.60 GB）。该版本无内置安全检查或内容过滤，可直接生成成人、NSFW 及敏感图像，配套 qwen3vl_8b 文本编码器和 VAE 文件，通过 ComfyUI 与 ComfyUI-GGUF 使用，MLX 格式针对 Apple Silicon 优化。
Reddit r/LocalLLaMA 用户发现疑似 Qwen4-27B 的 PR，提交者曾参与 vLLM 和 Intel 仓库贡献，并参与过 Qwen3.8 的开发。PR 还暗示 Qwen4-27B 的 KV cache 大小并未减小。
Reddit r/LocalLLaMA 用户 EmilPi 发布近期测试模型的量化版本初步 benchmark 结果，DeepSeek-V4-Flash-Vision-Exp（MXFP4）以 Delta score 2.86 居首，Qwen3.8-Flash-Next-Q4KXL-STRATA 得 2.38。测试覆盖智能体编程、推理、空间推理等任务，作者在 2xRTX3090+128GB RAM 上发现没有新模型超越数月前的 DeepSeek/Qwen 老模型，并意外发现 Qwen3.8-Flash-Next 加 Strata 无质量损失且更快。
ojas1542 在 GitHub 开源 MyInferenceLayerFoundation，一套完全跑在单台 Mac 上的个人 AI 技术栈，用 llama.cpp 本地服务 Qwen3.5 9B（128K 上下文）和 Qwen3 Embedding 0.6B，前置一个 Go 推理层。
GBTxiaotudouV8-Commander 是一个 7.6B 中文「总指挥」模型，可将请求路由到 341 位能力（30 域），写盘/花钱/出网等动作需人工发票授权。其 335 题基准两轮 PASS 率 99.10%/98.51%，341 位逐位真跑 340 通过/0 失败。项目提供零依赖的 `python demo.py` 演示、含 40 骨 GLB 与 2 万触手 3D 预览的硬件资产，以及可审计的单门 runtime 和 PWA 手机版。
Reddit 用户分享在 RTX 3070 + Ryzen 5 5600 平台上用 Strata 引擎运行 Qwen3.8-FN IQ3_S 的配置与结果，达到 1000pp prefill 和 40tps decode，上下文设为 262144。相比默认配置（关闭 mtp），开启 STRATA_HC_Q8 与 CPU 分担 prefill 带来主要提速，GPU unlock 额外带来约 50-100tps prefill。
Reddit 用户 /u/Consumerbot37427 报告其本地 Qwen3.8-Flash-Next MoE 的 Q4/Q8 混合量化版本在 Opencode 长任务中，推理链出现三类凭空编造内容：海盗分金谜题出现 7 次、虚构的 Windows/PyQt6 会话恢复注入在同一轮内被模型自导自演地防御 5 次、以及一段幽灵邮箱预批准系统提示词，而这些文本均不存在于实际输入中。作者用 SQLite 持久化历史做取证，提出判别方法：在全部历史中检索可疑文本的首次出现位置，若首现于助手输出即为模型虚构，若首现于工具或抓取内容才是真实注入；并给出一段可直接粘贴的排查提示词供其他用户检查自己的 opencode 历史。
推荐理由：作者用持久化 SQLite 历史做取证，给出区分量化幻觉与真实注入的可复用判别方法，附完整排查提示词。
Reddit r/LocalLLaMA 用户发现注册不到一个月的新 GitHub 账号提交了支持 Qwen4.0-Max prefill heads 的 PR，推测这些账号可能是阿里 OSS 的秘密账号。该 PR 标题为 feat(gdn): support Qwen4.0-Max prefill heads，相关身份尚未获官方证实。
作者在单张 RTX 5090（400 W）加 128GB 内存的 Linux 机器上，对 Strata、Infernix、capy-flash、ninfer-ext、ninfer、llama.cpp 和 Basalt 七个 Qwen 3.8 FN 推理引擎做了基准测试，每个引擎各自转换 NVIDIA NVFP4 权重后跑相同的七个 greedy 请求，每个请求独立冷启动。
开发者基于 Qwen3-Omni 构建了全模态决策模型 SPEV，直接对原始音频输入输出决策概率，无需经 ASR 转写，避免转写带来的延迟与成本，并支持鸟鸣等非语音任务。它结合 Omni 音频/视频/图像解码器与训练的决策头，支持选择题、真假判断和序数评分，多个问题可在一次多模态前向传播中处理。
作者实测 DeepSeek-V4.1-Flash-1017 后认为不如 Qwen3.8-Flash-Next：DSF 坚称 Broadwell-EP 有 AVX-512、拒绝从 libgen 下载论文，而 QFN 20 分钟完成同样任务。让四个模型对比 AI 泡沫与历史泡沫后，Opus 5.5 评审发现 DSF 与 Opus 5.5 报告最相似：TF-IDF 相似度 0.572、共享 200 个四词短语，分析方法几乎一致。
Moonshot AI 在 Kimi K2 发布一年后推出 Kimi K3，作者认为其智能、能力与品味全面提升，跳幅大到足以让版本号从 2 升到 3。作者称 K3 是普通用户眼中的智能巅峰，而千问（Qwen）更适合日常使用。
研究者基于 Qwen3-Embedding-0.6B 训练出 595.8M 参数的波斯语检索模型 Yalda Embedding，使用超过一百万查询-文档对。在 FaMTEB 八项波斯语检索任务上，其宏平均达 0.5488，为受评 0.6B 模型中最高，并在四项任务上胜过 Qwen3-Embedding-4B。借助 F2LLM-v2-8B 的关系型知识蒸馏，均值从 0.4813 提升至 0.5488，且模型权重、代码与数据集均已开源。
Baseten Base Labs 开源了基于 Qwen3.5-9B 后训练的 9B 决策模型 elephant-1（MIT），不生成文本，而是对 yes/no、多选或有序评分问题直接从选项字母 logits 输出概率。Artificial Analysis 独立评测其 Decision Index 得 65 分，与 d1-ultra 持平，成本约 $8/1M tasks，约为 d1-ultra（约 $31）的四分之一；Jev Decision Index 0.4 得 62.65，为 15B 以下最佳。When2Call 95 分、WildGuardTest 93 分，Omniscience 非幻觉率 93 但准确率仅 12，倾向回答不知道。
推荐理由：原文给出 Decision Index 得分、成本对比和分项基准数据，还说明了训练数据构成与架构改动来源，便于判断适用场景。
Reddit r/LocalLLaMA 用户对比 ukisai 的 Swift-1.5-Qwen3.8-Flash-Next（IQ2_XXS、64k 上下文、Strata）与 Swift-1.5-Qwen3.8-27B（Q4_K_L、128k 上下文、llama.cpp）。Flash-Next 在 medium 推理档位下反复空转思考、刷工具调用而不写代码，关掉推理也一样；27B 几分钟后就开始写修复。作者怀疑与 64k 上下文压缩、低量化或 Qwen Flash Next 本身有关。
Solstice-AI 将 DavidAU 的 Qwen3.8-27B-TURBO-Fable-Cold-Fusion 量化打包为 Apple MLX oQ4e 混合精度版本，内置 1,048,576 token 的 YaRN 上下文扩展，内存占用 17.02 GB，可在 16GB/24GB MacBook 上通过 Anvil 或 MLX-LM 运行。官方称在 Claude Code 评测框架下以 9/9 项基准全胜 Claude Opus 4.6 Max，其中 SWE-bench Pro 61.7% 对 53.4%，ARC-C 735、ARC-E 882。Apple Silicon 上的 MTP 多 token 预测带来 1.72×–2.20× 的加速。
leonsarmiento 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX 量化版，采用 BaseQuant_XL 6/8-bit 混合量化并嫁接 MTP 头，总大小 30.60 GB。MTP 头来自 huihui-ai 在去对齐时原样保留的 19 个源张量，经逐张量校验与 Qwen3.6-35B-A3B 原始 MTP 头字节一致。在 oMLX（M4 Pro 48GB）上 mtp_enabled 开启时草稿接受率 89.1%，吞吐 78.6 tok/s，较关闭时的约 58.5 tok/s 提升 28–34%；MTP 加速仅支持 oMLX，LM Studio 只能加载基座模型。
推荐理由：作者给出 MTP 草稿接受率、吞吐对比和逐张量离线校验数据，读者可据此判断这个 MLX 移植在速度与精度上的取舍。
GitHub 开源项目 personal-ai 使用 LangGraph 1.2.10 与本地 LLM（Ollama + Qwen2.5-Coder 14B、BGE-M3 嵌入）构建 PM/DB/Backend/Frontend/Review 多智能体流水线，从需求分析生成 Spring Boot 3、React/TypeScript 产物并以 Markdown 保存。系统将 Domain RAG 与 Project Context 分离以复用已有实现，目前为只读代码生成，尚不支持自动应用文件或构建部署。
GitHub 开源项目 cookbook-rag 提供了一套基于本地 LLM 的 RAG 系统，可上传 PDF 食谱并通过自然语言检索，返回 AI 生成的答案。系统默认使用 Ollama 运行 qwen3:4b 模型和 nomic-embed-text 嵌入模型，配合 ChromaDB 向量数据库与 FastAPI 提供 /add-document 和 /search 接口。文本切分采用 LangChain 的 RecursiveCharacterTextSplitter（约 1800 字符、200 重叠），可通过 MODEL_NAME 等环境变量切换模型，应用端口为 8080。
Hugging Face 上架了 abliterated 版模型 DeepSeek-R1-Distill-Qwen-1.5B-Abliterated-dpo，并提供 Transformers、vLLM、SGLang 及 Docker Model Runner 的调用与部署示例。模型可通过 pipeline 加载，或经 vllm serve、sglang launch_server 启动 OpenAI 兼容 API 服务。
Hugging Face 上发布了 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本，提供 GGUF、Safetensors 和 MLX 格式用于本地图像生成。版本包含 BF16（14.23 GB）至 Q4_K_M（4.60 GB）等多种量化档位，推荐 Q4_K_M 以平衡体积与质量；MLX 格式针对 Apple Silicon 优化，并随附 qwen3vl_8b 文本编码器与 VAE 文件供 ComfyUI 使用。该版本无内置安全检查或内容过滤，可直接生成 NSFW 等敏感图像。
一项 arXiv 研究考察多模态大语言模型的 retrieval heads 在新增模态时的表现：以视听输入为对象，发现检索头在新模态中保持稀疏并跨模态大量共享，在 18 个语言、视觉语言与全模态模型中，全模态模型基本保留了其基座的检索头。跨模态共享的检索头不足全部 head 的 2%，但消融它们会损害文档理解、空间感知和视觉数学。通过 ranking 目标训练这些头的注意力，Qwen3-VL-8B 在 MMDocIR 上的 page Recall@1 提升 6.03 分，并在三个模型族上改善文档检索。
一项针对本地 LLM 记忆提取的 120 例基准测试（60 组对照对、96 例英文主测试）显示：Hy-Memory 30B-A3B 召回率 100%（52/52），但 44 个空输出用例全部错误并产生 76 条冗余提议；Qwen3.5 4B 和 9B 更克制，空用例正确率分别为 95.5% 和 90.9%，冗余提议仅 3 条和 5 条；LFM2.5 24B-A2B 召回 76.9%，受指令示例污染和引用格式问题困扰，后验映射可修复 9/18 个无效引用字段。所有模型经 llama.cpp 在同一台 Ubuntu 机器上运行，测试不涉及速度。
腾讯微信视觉团队推出统一视觉语言模型 WeVisOne-VL-4B，基于 Qwen3-VL 构建。该模型通过结构化 next-token prediction 和 9.6M 参数的轻量 pixel decoder，统一了目标级感知（开放词汇检测、指代定位、计数、指向与 OCR）与像素级感知（指代分割、可提示 alpha matting），已在 HuggingFace 开源。
Reddit 用户 Bayliner1980 将 Qwen3-0.6B 转换为 MoE 架构，发布 bayliner1980/Qwen3-0.6B-MoE-A0.5B 及 GGUF 版本，这是其首个 chat 风格转换。因 Qwen3 无 shared expert，作者采用 pseudo-shared expert 部分恢复质量；评测显示 Wiki ppl 从 23.88 升至 26.98，各质量指标均差于原模型，0.6B 规模下 CPU 生成 124 t/s 略快于 dense 的 115 t/s，GPU 生成则略慢。作者建议只想要小模型就直接用 Qwen3-0.6B。
一项 arXiv 研究提出方向敏感、相对读出的语义脆弱性分析框架，用储备-传输模型在 Qwen3-32B 和 Gemma 4 31B 上预测保留任务含义的改写导致的失败，并可向 ReClor 迁移。匹配干预实验表明方向本身携带标量几何之外的因果信息，但失败很少跨选项顺序持续，说明共享预测规律与依赖上下文的方向性效应并存。
heyvaldemar 在 GitHub 发布 kubernetes-air-gapped-ai-agent 参考架构，让 AI Agent 在无外网路由的 kind Kubernetes 集群内用 CPU 运行 llama.cpp，模型经签名镜像和 Kyverno 准入校验后加载。随附 15 项任务的每日评测：六个内置与受测模型在 12 条植入指令上最多中招 6 条，而 MCP 服务器按 schema 拒绝了全部外发邮件（含隐藏模式后的 92 次），无数据外泄、无记录被删；每周任务另经唯一出口调用 Claude Haiku 5.5 与 Claude Sonnet 5.5，二者均未中招任何植入指令。仓库定位为参考而非产品，MIT 许可。
推荐理由：仓库用可复现的检查把边界与模型分开验证，被诱导的数据点数只作测量不作门槛，这种做法可以迁移到自己的 Agent 部署里。
Hugging Face 上线 Qwen3.8-Flash-Next-Uncensored 的 Q4_K_XL-Gufo 重量化版本，共 3 个分片约 103.5 GiB，升级 716 个张量 dtype 并修复 export bug，使 gufo 引擎可在 AMD Strix Halo（gfx1151）上加载，支持 262 144 原生上下文。无新微调，权重与原 Q4_K_S 相同；许可证按上游 Qwen Community License 1.0 分发，而非元数据标注的 apache-2.0。
论文提出投机解码方法 ReaDy，首次利用混合线性注意力（HLA）模型的循环状态为每个草稿位置检索位置特定上下文。基于 DSpark 骨架与两阶段适配策略，在数学、代码生成与对话七项基准上，ReaDy 以 Qwen3.8-27B 在单块 NVIDIA B200 上实现平均 3.16× 解码加速，吞吐较 DSpark 提升 7.97%，接受长度提升 8.50%，代码已在 GitHub 和 HuggingFace 开源。
Hugging Face 上发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本，基于原版上游权重转换，提供 GGUF、Safetensors 和 MLX 格式，涵盖 BF16 14.23 GB 到 MLX 4-bit 4.00 GB 等多个量化档位，推荐 GGUF 用户使用 Q4_K_M（4.60 GB）。该版本内置无安全检查器，可直接生成 NSFW 等敏感图像，配套 qwen3vl_8b 文本编码器和 VAE 文件，可通过 ComfyUI 与 leejet/ComfyUI-GGUF 分支完成本地部署，文本编码器可卸载至系统内存以节省 9–17 GB VRAM。
一项 arXiv 研究发现，仅更改语料的收集日期元数据即可改变五个开源 LLM 在时间性问答中的答案：在 595 个 Wikipedia 页面上，交换前后两天的提问日期使后向引用 exact match 下降 37.6-51.4 个百分点。七种提示词变体（包括明确忽略收集时间的指令）均无法消除该效应；加入思维链可将 Qwen3.5 的损失从 30.1 降至 11.1 个百分点。该诊断可将元数据影响与证据变化分离，为时间性 QA 输入提供实用审计方法。
研究者构建了首个尼泊尔政治文本金标准数据集（Cohen's kappa = 0.777），并用机器学习、深度学习和 LLM 自动提取与分析选举承诺。fastText-LSTM 深度学习模型表现最佳（accuracy 0.914、macro F1 0.913），LaBSE-LR 为最优机器学习模型（accuracy 0.897），三个受评 LLM 中 Qwen3-8B 在 few-shot 设置下取得 0.848 macro F1。成果已集成进移动应用，借助 GAI 可视化承诺以提升透明度与问责。