新闻、仓库与研究，按时间排列。
bitemyapp 开源 inferrous 项目，用 Rust 编写 LLM 推理引擎，所有 GPU kernel 经 cuda-oxide 编译，不含 CUDA C++ 及厂商 BLAS 或 attention 库。首个引擎 inferrous-qwen3 在 RTX PRO 6000 Blackwell 上以 W8A8 INT8 运行 Qwen3-8B，解码速度 182.3/178.2/170.5 tokens/s（5/129/512-token 提示词），快于 vLLM+Humming INT8（144.4/143.3/142.9）。目前为研究级代码，单请求、greedy 解码、最长 4096 token 上下文，下一目标为 Qwen3.6-35B-A3B FP8。
GitHub 开源项目 decisio 发布，它实现 TypeSafe 的 System One 线格式，把文本问题送入模型、每个问题一次前向传播即可输出各选项概率分布，不生成文本。项目提供 Qwen3.6-35B-A3B、Gemma 4 12B 和 31B 三个基座配置，Gemma 4 31B 在 Decision Index 0.2.1 得 57.58 分、每请求中位 56.0 ms；支持任务注册校准、弃权阈值、图像输入，可通过 GPU、Docker、MLX 或 Ollama 部署，最小 Gemma 标签 8.6 GB 可跑在 16 GB 笔记本上。
推荐理由：项目作者自述的决策服务层实现，给出了三个基座模型的实测精度与延迟对照表，读者可据此评估选型。
基于 Qwen3.5-4B 的社区对话/角色扮演微调模型在 Hugging Face 发布，提供 ~3.5 GB 的 Q6_K GGUF 量化文件，支持 llama.cpp、LM Studio 和 Ollama。模型用 Unsloth QLoRA（rank 16、alpha 32）在 AMD RX 6700 XT 上训练，数据集约 11,400 行对话，最终 train loss 约 0.92，上下文最长 2048 token。另有 ~672 MB 的 F16 视觉投影文件，仅图像输入时需要。
GitHub 上的 data-analysis-agent 项目用 Qwen LLM 从零实现 Agentic AI，构建了一个可通过自然语言查询销售数据的智能体，未使用 LangChain 等 Agent 框架。它能生成只读 SQL 从 SQLite 取数、用 Python 做统计分析、链式调用多工具，并维护短期对话历史和处理工具与数据库错误，最终以自然语言返回结果。
Reddit r/LocalLLaMA 用户担心 Qwen 下一代模型可能延续 Qwen3.8-Flash-Next 的许可方式。该许可对本地/内部使用、微调和衍生品宽松，但商业 MaaS 或独立编程/办公 AI 助手从第一天起就需单独的 Qwen 许可，且 20M 美元/月或 100M MAU 门槛只是署名触发条件。作者认为内部研发没问题，面向客户的服务则需澄清输出归属。
GitHub 用户 Benny-Gao 开源了一个基于 Kaggle 数据集的金融新闻情感分析项目，用于对比 LLM 与 FinBERT 两种方案。该项目使用 Qwen1.5b 作为对比中的 LLM 模型，仓库目前包含 README 文档，尚无 stars、forks 或 releases。
开源项目 Turing 是一个用 Python 和 Ollama 构建的本地 AI 智能体，使用 Qwen 2.5 作为本地语言模型。它支持计算器、天气、时区、基于 Tavily 的联网搜索、SQLite 持久记忆、多格式文档处理（.txt/.md/.json/.csv/.pdf/.docx）及轻量级 RAG 检索，并采用动态工具注册表架构，附带 pytest 自动化测试和运行日志。
作者 Hadi 对 XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B（MIT 许可）做拒绝消融，在 Hugging Face 发布 Flexingmeow/MiMo-V2.6-Distill-Qwen-9B-Abliterated（D 激进变体），拒绝率从 78.1% 降到 9.4%，数学推理准确率保持 100%，困惑度变化小于 0.03 NLL。因 qwen3_5 混合注意力架构不被现有工具支持，作者自写了基于 transformers 的管线，全程 CPU 完成。关键发现是拒绝方向必须从生成的回复区提取，在提示词末 token 提取的方向消融后无效（KL ≈ 1e-7，拒绝率不变）；作者也提示评测集较小且微调可能重新引入拒绝。
推荐理由：原文给出完整消融方法、拒绝率前后数据和评估局限，还提出推理模型需在生成区提取拒绝方向的可迁移结论。
Keys（drowzeys）在 GitHub 发布完整 4-bit 推理配方，将 abliterated 版 aday777/Qwen3.8-27B-ARA 通过 eugr vLLM 0.27 GB10 构建部署在单台 NVIDIA DGX Spark（121 GB UMA）上。核心是把 vLLM PR #49891 的 FA2 NVFP4-KV 路径回移植到 sm_121a，使 KV 池从约 2.1M token 翻倍到 4.34M，实现 1M 上下文约 4.14× 并发；A4Q 原生 fp4-QKᵀ 带来 48–96K 下 prefill +8–10%、TTFT −7–9%，decode 中性（同模型 A/B 实测）。
推荐理由：原文给出单卡 DGX Spark 跑通 1M 上下文的完整方法、逐项实测日志和未奏效的记录，可作为 GB10 量化推理栈的可复现参考。
一项 25 组配对任务实测显示，本地运行 Qwen 3.8 27B 的质量为 89.5 分，DeepSeek Flash API 为 92.6 分（满分 100），12 项任务套件各胜 6 项。编码任务上两边全部通过：本地 10/10 智能体运行全绿，修复 4 个 bug 两边各 5/5 轮全部成功。代价是本地耗时为云端的 2.5–5.5 倍，但除电费外零成本，云端 12 项任务仅花费 0.14 credits。
CorePulse核心律动是一个开发中的开源（MIT 许可）本地电脑智能诊断与维修助手后端，由 LLM 负责理解决策、Java 后端负责控制执行。项目通过 Function Calling 调用 OSHI、smartctl、FurMark 等真实工具采集硬件信息、检测磁盘 S.M.A.R.T.、执行压测，并用 RAG 检索本地维修知识库。主模型为 DeepSeek，备用模型为阿里百炼兼容接口中的 Qwen，删除、修复、压测等高风险操作需用户确认后由后端执行。
marfrit 发布 arcint，一个专为 Intel Arc A770（16 GiB）和 Arc Pro B60（24 GB）设计的窄域 LLM 推理引擎，仅运行 allowlist 内的 hybrid Qwen 模型。内核工作委托给打了补丁的 OpenVINO 构建并附公开补丁系列，另提供基于 pinned commit llama.cpp 的 libllama 后端，自管 KV 内存、prefix 缓存、前缀复用、DFlash 和 MTP 投机解码。
ai4os 的 arena-fl-server-llm 仓库提供了在 EOSC ARENA 上运行、基于 Flower 的联邦 LLM 服务器（SuperLink）部署，各节点上的客户端（SuperNode）用本地数据集连接训练。默认模型为 Qwen/Qwen2.5-0.5B，量化设为 4，训练 10 轮、每轮 3 epoch，客户端启动示例为 ./start_supernode.sh，可通过 flwr run . remote 发起远程运行。项目采用 Apache 2.0 许可证，由欧盟 EOSC-ARENA 项目（Horizon Europe，Grant number 101292597）资助。
开发者 stevyhacker 在 GitHub 开源了 macOS 应用 LokalBot，可在 Apple Silicon Mac（macOS 15+）本地录制麦克风和会议应用音频，无需会议机器人加入，提供转录、摘要、日程回顾、听写与自动补全，默认无账号、无遥测。内置 llama.cpp 运行时，默认模型含 Qwen3-ASR 1.7B、Qwen3.5 4B 等，约 6.8 GB 模型文件，支持 Ollama、OpenAI 兼容服务器和 Apple Intelligence，屏幕文字与截图默认 opt-in 且 14 天过期， GPLv3 协议，可通过 Homebrew 安装。
推荐理由：README 附带了与 Granola、Otter、Screenpipe 等产品的逐项对比表和隐私架构说明，方便读者判断本地会议记录方案的差异。
bilibili Index LLM Team 发布 Index-Translate 多语言翻译模型家族，基于 Qwen3.5，文本模型覆盖 150 种语言，提供 2B、9B 和 35B-A3B（preview）权重，已在 Hugging Face 和 ModelScope 开放。
推荐理由：原文给出了各尺寸模型的评测数字、量化版本和免费API入口，读者可以直接对比选型并上手部署。
GitHub 上的 Quanta（QUANTA）架构将长期情景、百科与事务记忆外置为主机内存中 1024 维的四元抽象语法图，作为 Claude、GPT-4、Cursor 等宿主 LLM 的外部上下文扩展协处理器。它通过 OpenAI 兼容反向代理（:8000）和 MCP server 按需注入经验证的最小上下文，宣称上下文可达 10M+ token 等价物、token 占用减少 56.2%–85.0%。系统采用 7 级流水线，用 unsloth/Qwen3.5-4B-MTP-GGUF 做约束转导，可在 RTX 3070（8GB VRAM）+ 16GB 主机内存上运行。
GitHub 上的开源项目 RAG-LAW-ASSISTANT 是一个针对印度宪法的检索增强问答应用，从 Jupyter notebook 重构为可部署的 FastAPI 后端加静态前端。流水线用 FAISS 检索相关条款，由本地模型 Qwen/Qwen2.5-1.5B-Instruct 生成答案，并按 faithfulness/completeness/relevance/safety 四项 0–5 分自评，据此决定接受、修改一次或拒答。检索默认 k=4（未命中扩至 k=8），部署需 4+ GB 内存，支持 Hugging Face Spaces、Render、Railway 等。
开源项目 Math_Tutor_RAG 提供了一个基于视觉大模型与 RAG 检索的智能错题本，支持拍照录题、AI 结构化解析、SymPy 数学验证、ChromaDB 向量归档与 SM-2 间隔重复复习。项目统一对接 SiliconFlow / 通义千问 / 智谱 GLM / DeepSeek / OpenAI / Ollama 等 Provider，Gemini 独立接入，并提供 MCP Server 供 Claude Desktop / Cursor 调用，无 Key 时可跑演示模式。工程上包含 464 个 pytest 用例、覆盖率 CI 门禁 78%、Docker Compose 一键部署与 FastAPI JWT 网关。
GitHub 开源项目 Evaan 是一个完全离线运行的私人 AI 伴侣，基于 Qwen2.5-0.5B-Instruct 模型（0.5B 参数），在 CPU 上以 float32 精度运行，无需 GPU、API 密钥或订阅费用。它通过 JSON 文件实现跨会话持久记忆，可检测用户情绪并支持自定义人格（system_prompt.txt），响应长度默认 max_new_tokens 512。项目支持 Windows 10+（64 位），最低要求 4 GB 内存和 2 GB 存储空间，仅初始下载需要联网。
jvr0x 在 GitHub 开源 ai-models 仓库，提供经生产验证的 lmswitch YAML 配置，放入 ai-models/ 目录即可被自动检测、解析并启动。支持 llama（llama.cpp 加载 .gguf，无需 Docker）和 vllm（加载 safetensors/FP8/NVFP4，需 Docker）两种后端，内置 Qwen3.6 系列、Gemma4、Nemotron、Kimi、DeepSeek Flash 等数十个模型配方。配置项包括 ctx 默认 65536、gpu_layers、gpu_memory_utilization 默认 0.85、tool_call_parser 等，项目采用 MIT 许可证。
开源学习项目 LLM_Forge 演示如何用 LangChain create_agent() 以两种方式运行同一个智能体：在线模式调用 OpenAI gpt-4o-mini，离线模式通过 Ollama 运行本地 qwen3:8b（约 5.2 GB）。项目开启 LangSmith 追踪以便检查每次运行，通过命令行参数或 .env 中的 LLM_MODE 切换模式，未设置时默认 online。
kvelmurugan18 在 GitHub 开源 sycophancy-rl，一个通过多轮受控反驳的强化学习来降低 LLM 谄媚行为的可复现管线，奖励抵抗无效施压同时保留对有效更正的接受。管线支持导入用户数据集、4-bit QLoRA/GRPO 训练、同条件前后基准与配对统计对比，首发实验注册 Qwen/Qwen2.5-0.5B-Instruct，可在本地 GPU 容器或 Kaggle GPU 内核运行；仓库未声称任何训练提升，首个 Kaggle smoke 实验仍需操作者执行，代码采用 Apache-2.0 协议。
推荐理由：这是一个可复现的完整管线，从数据导入到训练前后的配对基准对比都有明确契约，适合关注谄媚行为微调的读者参考。
tfwcn 在 GitHub 开源 CrucibleLM，一个约 128M 总参数、48M 激活参数的实验性小模型，将 DeepSeek 式 MLA、细粒度 MoE、MTP 与 Qwen-Next 式混合线性注意力、Muon 优化器等 SOTA 技术融合，用于在 1/1000 规模研究这些方法的行为。模型可在单张 16GB GPU 上从零预训练（约 46 小时），支持 200K 上下文推理（latent KV cache + 稀疏注意力，实测约 0.2GB KV），RTX 3080 Laptop 上约 31 tok/s。
推荐理由：一个把 MLA、混合线性注意力、细粒度 MoE 等 SOTA 架构压进 128M 小模型的实验测试床，单张 16GB GPU 可复现完整训练流程。
基于 Qwen2.5-7B-Instruct 制作的 abliterated（无审查）版本 v2 在 Hugging Face 上发布，较上一版本有所改进，可通过 transformers 库加载使用。评测显示 v2 在 IF_Eval（77.82）和 GPQA（32.17）上略高于原模型，MMLU Pro（42.03）、BBH（53.01）基本持平，TruthfulQA（57.81）有所下降。评测脚本已随模型开源在仓库 /eval.sh 中。
HauhauCS 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的 Aggressive 无对齐 GGUF 量化版，实测 0/465 拒绝，定位为直接给答案、极少前置说明的变体。全部量化保留原生 MTP/NextN 头和 262,144-token 原生上下文（可扩展至 1,000,000），支持文本、图像和视频输入，需另下 BF16 projector。
GitHub 上的 Ironmate 是一个本地 CLI 工具，基于轻量 LLM 提供文本生成、ASCII 艺术生成与保存、交互式 tool REPL 及白名单安全文件操作。默认模型为 Qwen/Qwen3-4B-Instruct-2507，可选更轻量的 Qwen/Qwen3-1.7B，并支持 IRONMATE_MODEL 等环境变量覆盖与 4bit 加载。
Paata28b 发布基于 Qwen3.5-9B 多模态模型的本地一体化部署仓库 Qwen3.5-9B-ToolHub，推理在本机 GPU 完成，支持联网搜索并附来源、上传图片提问、只读浏览本机文件和内置思维链。需要 Windows 10/11、≥8 GB 显存的 NVIDIA 显卡和 Python 3.10+，首次运行下载约 6 GB 模型，启动 30–60 秒，并提供 Docker Compose、WSL 和 Q8 量化（约 10.2 GB，显存 ≥12 GB）三条备选路线，对外暴露 OpenAI 兼容 API（http://127.0.0.1:8080/v1）。底层使用 llama.cpp 作为 GGUF 推理引擎。
推荐理由：原文给出完整的硬件要求、安装步骤和三条部署路线，本地跑通 Qwen3.5-9B 多模态加工具调用可以照做。
idle-intelligence 在 GitHub 发布 llm-life 仓库，把语言模型作为康威生命游戏的更新规则，一个像素是一个细胞，下一状态从模型对活/死二词的 logits 读出，并需 WebGPU 的 demo 与 compare 页面。仓库实现了六种算一代的方法：经典规则循环、逐细胞问 Qwen2.5-0.5B-Instruct（基座 156/256 正确，加 LoRA 后 256/256）、整网格一次输出（加 LoRA 后 256/256，但 256x256 超出上下文）、3490 参数的 BERT of Life 分类器、1442 参数的 2 层 MLP 和 3329 参数的 stencil attention 模型，后者在 16x16 训练后可扩展到任意网格尺寸。
该仓库完整记录了在两台 AMD Strix Halo 主机间用 USB4v2 链路做双卡张量并行（TP2）推理的搭建与运行经验，含自定义内核级流传输模块、gufo 侧 TP2 集成与运维脚本。实测 tbstream 传输 p50 延迟 22–23 µs 接近 RDMA 基线，Qwen3.8-Flash-Next Q4 双机 TP2 在约 62k 深度下 prefill 提升 34%，零拷贝无 NIC 路径；Q8 262144 上下文以 TP2 分片约 36 秒加载，单台 122 GB 主机装不下。流拆除时对端 mid-flight 导致的控制面失联（wedge）已定位并修复，自愈单元可在约 8 秒内自动恢复，最终 58% wedge 率压测中 7/7 自愈、零重启。
推荐理由：原文给出了完整的传输延迟、TP2 吞吐对比数据和复现指南，读者可以据此评估 USB4 双机张量并行方案的实际可行性。
Hugging Face 上发布了基于 Qwen/Qwen-Image-2.1 原始权重的 Uncensored GGUF 量化模型，提供 BF16（14.23 GB）到 Q4_0（4.15 GB）多种量化格式，推荐体积与画质平衡最佳的 Q4_K_M（4.60 GB）。模型无内置安全检查器或内容过滤，可直接生成成人、NSFW 及敏感图像，不会拒绝提示词或输出黑图。配套的 qwen3vl_8b 文本编码器与 VAE 文件可直接用于 ComfyUI 及 ComfyUI-GGUF，文本编码器可卸载到系统内存以节省 9–17 GB 显存。
一位用单张 3090 运行 Qwen3.8-27B-exl3（约 150k 上下文、约 70t/s）的用户，因 strata 的热度考虑加购 128GB 6000MHz DDR5 内存和 Ryzen 9700X，以便搭配 3090 跑 IQ3 量化。他发帖询问跑过 Qwen 3.8 27B 与 Qwen Next strata 的用户两者在输出准确率上的差异，主要用途是编程和 Hermes 助手，并咨询该配置下的其他好选择。
GitHub 仓库 Rami2212/PSSN-LLM-Reasoning 提出了用于提升 LLM 推理效率的 Predictive Semantic State Navigation（PSSN）项目，基于未量化 Qwen/Qwen3-4B 模型，在 Hugging Face GSM8K 数据集与 Google Colab 上搭建。项目包含 CoT 基线、答案抽取与准确率评估，默认生成长度 1,024 tokens，使用 BF16（不支持时 FP16），初始实验在固定 seed=42 的 75 题 GSM8K 开发子集上运行，结果以 JSONL 记录 token 数、延迟和 CUDA 峰值内存。
作者在 RuMedTop3（俄语患者主诉预测 ICD-10 编码，105 类，测试集 n=822）上对比了 TF-IDF、DeepSeek 提示/RAG、Qwen3-8B QLoRA 与 Kev-0.8B 直选五种方法。TF-IDF+逻辑回归 Hit@1 49.03 / Hit@3 72.63，零样本 DeepSeek 仅约 33；Qwen3-8B 在 Apple M2 Pro 上用 MLX 训练一轮 QLoRA（6 小时 32 分钟），Hit@1 从基座 7.66 提升到 35.64（配对差 +27.98 点）但仍低于 TF-IDF；Kev-0.8B 零样本 Hit@1 12.41，迁移效果差，中位推理延迟 523 ms。
推荐理由：同一测试集上系统对比了线性基线、API 提示、RAG、QLoRA 和小型模型直选五种方案，并给出置信区间与配对差异，结论克制可复核。
cckyros 在 GitHub 发布 decision-lite，一个以 MCP server 形式复刻 TypeSafe Jev 请求/响应契约的决策层，复用其公开工作流而非未公开的模型内部。支持三种可插拔后端：默认的 cactus-needle（121M 本地模型，~30MB，免费但非英文 confidence 不可靠）、laya（~643MB 多语 checkpoint，输出真实每选项分布）、以及任意 OpenAI 兼容端点（verbalized / sampling / logprobs 三种模式，如经 Ollama 运行 qwen3:0.6b）。
推荐理由：README 直说复刻的是 Jev 的接口契约而非内部模型，并列出各后端校准缺陷和基线数据，判断冷静。
作者在单张 RTX 2080 Ti 22GB 上用 Unsloth UD-IQ4_XS 4-bit 量化实测 Qwen3.6-35B-A3B，HumanEval 全部 164 题 pass@1 达 89.63%（147/164）。随后对自制的 MoE expansion 路由补丁做受控 A/B：在最后 15 层（25–39）每 token 激活 20 个专家而非原生 top-8，无需重训或改文件，pass@1 升至 90.85%（149/164），解码速度从 69 tok/s 降至 56 tok/s（约 -19%）。作者提示 +2 题在 164 题的统计噪声范围内，且用的是原始 HumanEval 而非 EvalPlus，不能与 EvalPlus 榜单直接对比。
推荐理由：作者给出了同机同量化下的受控 A/B 数据和解码速度代价，读者可以据此自行判断该路由补丁是否值得用。
GitHub 上的探索性项目 llm-survival-time-prediction 用合成临床数据微调 meta-llama/Llama-3.1-8B（4-bit 量化 + LoRA），从自然语言患者特征预测期望生存时间。目标值经 Weibull AFT 残差与 Kaplan–Meier、Buckley–James 方式做右删失校正，代表性设置（rank 16、alpha 32、学习率 5e-5）在 3 个数据种子上平均测试 RMSE 为 3.06 ± 0.47 年，原始输出 invalid ratio 为 0%。项目仅用合成数据、以年龄和治疗分组为输入，未与 Cox 等基准模型对比。
random1st 发布 Feynt，一款跑在 Apple Silicon 菜单栏的本地大模型推理应用，用 DFlash 2 起草模型一次提出整块 token、大模型单次验证的方式，在 M3 Max 上达到普通解码 2.7 倍速度（Qwen3.8-27B Uncensored 14.6 提升至 40 tok/s）。应用内置聊天、首启向导、OpenAI 兼容服务器及 MCP 和 A2A 端点，引擎通过 MLX Swift 运行，无需 Python 或预装依赖，安装命令为 brew install --cask random1st/feynt/feynt。
mcampa 发布的开源项目 llm-router 是面向 DGX Spark 的本地 LLM 网关，在端口 4000 提供 OpenAI 兼容端点，路由到自托管 vLLM 模型与 DeepSeek 云 API，并使用 Postgres 存储模型、Redis 做缓存。自托管侧基于 Eugr 的 B12x vLLM 栈运行 Qwen3.8-Flash-Next，默认启用 qwen38-fast（INT4 量化，125B 总参数，每 token 约 5/10 专家，磁盘占用约 119 GiB，解码比完整模型快约 33%），NVFP4 完整版 qwen38 已在 docker-compose.yml 中注释备用。deepseek 路由在云端 API 失败时可回退到本地 vLLM，失败后冷却 300 秒。
GitHub 仓库 YYYJH1/LP-MAPPO 发布，实现 LLM 引导、计划约束的多智能体 PPO，用于城市空中走廊的协作无人机边缘计算，包含仿真器、实例生成器与 MAPPO 执行器训练（对比 IPPO、HAPPO、CoPPO、A2PO 基线）。规划器基于 Qwen3-1.7B 做 LoRA 微调，用 vLLM 生成计划并做计划约束评估，微调后的 LoRA 适配器以 Apache-2.0 附于 release v2.0，代码采用 MIT 许可。
Reddit 用户反映 Qwen 3.8 flash next 在任务中反复"重新测试""重新运行"，过度自我怀疑导致耗时明显变长。官方建议将 thinking 设为 Medium，但用户因速度慢而很少使用。该问题在 llama.cpp 等引擎中同样存在，发帖者正在寻求解决办法。