新闻、仓库与研究，按时间排列。
开源项目 NewsNotify 结合 n8n 与本地 LLM 监控 RSS 新闻并去重，每 15 分钟抓取 CNBC、Financial Times 和 BBC 的订阅源。工作流在 MacBook Pro M1（16 GB 统一内存）上通过 MLX-LM 运行 4-bit 量化的 Qwen 3.5 4B 模型完成主题匹配与事件去重，无需云端 LLM，结果经 ntfy 推送通知。项目采用 Apache 2.0 许可证，作者强调其为实验性工具而非金融预测系统。
Reddit 用户在 Strata 自定义 fork 上，以 IQ3_S 量化将 Qwen3.8-Flash-Next-GSQ-RCO-Abliterated 跑在 12GB VRAM + 32GB RAM + NVMe 配置上，实现 20-30 tok/sec 解码（Q2 量化可达 39-45 tok/s）和 300 至约 9 万 tok/sec 预填充，上下文达 131k。该 fork 包含大量实验性架构改动，可能不稳定。作者称其部分表现接近本地版 Opus，算力成本低于 2k。
研究者提出离群维度感知注意力线性化方法 OAL，指出少量离群维度贡献了 softmax 注意力线性化近似误差的主要部分。该方法通过 Hadamard 积形式与分组二次核保留离群维度的差异化处理，在 Qwen2.5-0.5B 上较 DiJiang 将冻结注意力输出的相对 MSE 降低约 8.9%；配合 LoRA 微调将 WikiText-103 困惑度从 31.71 降至 27.50，并提升 PIQA、HellaSwag 和 ARC-E 准确率。
HauhauCS 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的 Aggressive 无审查量化版，标注 0/465 次拒绝，保留文本、推理、Agent 和图像视频能力，许可证沿用 Apache 2.0。附带自研 FastMTP 32K 草稿加速边车与 llama.cpp 补丁，在 RTX PRO 6000 Blackwell 上 Q8_K_P 达到对关闭 MTP 最高 3.02x 文档 TG 和 1.93x 推理 TG，并给出各档位实测速度与签名校验清单。
GitHub 项目 kavas-ainotetaker 可录制在线会议中所选应用（如 Zoom）的声音和麦克风，经 Qwen3-ASR-1.7B API 转写后，由 LLM 生成含决策、行动项和摘要的可共享会议纪要。应用采用 Swift 6 + SwiftUI 原生构建，语音捕获依赖 Core Audio process tap（macOS 14.2+），摘要默认用 deepseek-v4.1-flash，endpoint 和 API token 可在设置中配置。项目目前处于设计阶段，尚未编码完成。
GitHub 开源 starter 项目 Mehta-Amit-Codes/finetuning-deployment-pipeline，用 Hugging Face PEFT/TRL 对开源模型（默认 Qwen/Qwen2.5-1.5B-Instruct）做 LoRA/QLoRA 微调，通过 FastAPI 提供 /generate、/compare 等接口，并用 Streamlit 对比 base 与微调模型。评测采用成对比较和 bootstrap 95% 置信区间，xAI（Grok）API 仅作可选评分 judge，并可按 /admin/eval-score 低于 rollback.min_score 时回退到 base 模型。
santosardr 在 GitHub 开源 RIS-Kernel，一个模型无关的稀疏注意力推理引擎，可在无加速的普通 CPU（16–128 GB RAM）上运行 64k+ token 的长上下文推理，无需修改模型权重。在 Qwen2-1.5B-Instruct 上 32,768 token 受控评测中，1% 密度、70 seeds 的 RIS-Stochastic 达到 75.00% 准确率，超过原生稠密注意力的 71.88%；65,536 token 时稠密注意力会显存溢出，RIS 相对零上下文基线（51.56%）最多提升 14.06 个百分点。GPU 环境下 40k token 峰值显存从 36.2 GB 降至约 9.4 GB。
推荐理由：仓库给出了在无加速 CPU 上跑 64k+ 上下文的实测精度与内存数据，读者可以据此评估稀疏注意力方案的可用性。
qwenproxy 是一个本地代理网关，把原本面向 OpenAI 和 Anthropic API 的应用（如 Claude Code、Codex、OpenCode）转换为可调用 Qwen AI 模型。它支持多 Qwen API key 自动轮换以避开限流，提供终端 TUI 仪表盘实时查看请求和切换账户，并能可靠处理 tool calling 与失败重试。软件为 Windows 10/11（64 位）应用，需 4 GB 内存和 200 MB 空间，API key 仅保存在本机。
AudioTETRIS 是一个 training-free 的两阶段框架，利用音频编码器的表示几何作为声学先验，计算逐 token 融合分数并跨 decoder 层进行渐进式 top-k token 选择。在 Qwen2-Audio-7B、Phi-4-Multimodal 和 Audio Flamingo 3 上，仅用 25% 音频 token 即可在多项语音任务上保持接近未压缩的性能，并在中等压缩率下达到或超过全 token 准确率，持续优于现有 training-free 基线。
千问（Qwen）发布图像模型 Qwen-Image-2.1-Turbo，权重已开放。该模型基于 Qwen-Image-2.1 的 7B 视觉生成架构，仅需 8 步去噪即可生成 2K 图像，并支持通过自然语言编辑进行持续创作。用户可在 Hugging Face 上用 Diffusers 加载 QwenImage21Pipeline，直接使用推荐的 8 步采样方案。
jaswanthsanjay88 在 Hugging Face 发布 Qwen2.5-1.5B-Abliterated，一个基于 Qwen2.5-1.5B-Instruct 的教育演示模型，采用 Arditi et al. (2024) 的权重正交化（abliteration）方法。干预作用于第 16 层 residual write projections，校准数据采样自 AdvBench harmful 和 Alpaca cleaned 数据集，用于大学教学中展示对齐模型的行为防护如何映射到 transformer 残差流中的线性子空间。
Nakano-official 在 GitHub 发布 Loop-Engine，一个让 AI 自主运行实现循环而不依赖测试自申告或权限越权的实验性执行基座，将 Planner、Runner、Solver、Critic 四个角色分离并用 uid 隔离权限。Runner（runner/loop.py，约2400行，仅标准库）已实现，2026-08-21 完成从6行需求到11步、零人工介入的完整执行；2026-09-01 用本地 Qwen3.5-9B（RTX 2060 6GB、41.6 tok/s）替换 Codex 作 Solver 的对照实验中，两者均为 11/11 绿灯、48件测试通过、零人工介入，本地模型耗时15分12秒反而快于 Codex 的19分37秒。
推荐理由：原文给出了完整的设计原则、角色分离方案和两组对照运行数据，读者可以据此评估不依赖自申告测试的 AI 实现循环是否可行。
Hugging Face 用户 robertbschuette 发布了 Qwen-Image-2.1 的 Uncensored GGUF 量化版本，提供从 BF16（14.23 GB）到 Q4_0（4.15 GB）等多种量化文件，推荐 Q4_K_M（4.60 GB）作为体积与质量的最佳平衡。该版本移除内置安全检查与内容过滤，可直接生成 NSFW 等敏感图像。模型可在 ComfyUI 中配合 qwen3vl_8b 文本编码器与 VAE 使用，文本编码器可卸载至系统内存，节省 9–17 GB 显存。
一位拥有 RTX 4090 和 64 GB DDR4 内存的用户表示，小量化版的 QFN 能装下但效果不佳，已换回 Qwen3.8。他正在考虑购买华为 Atlas Duo，可额外获得比系统内存快一倍的 96 GB 内存和比 CPU 更快的 AI 加速器，发帖询问是否有人尝试过这一方案。
开发者开源了 Football Copilot，一个不用 LangChain/LangGraph、从零构建的英超足球 AI 分析项目。它通过 Ollama 本地运行 Qwen3 4B 模型负责意图识别与工具调用，结合 DuckDB、Streamlit 和增强 Poisson 模型，支持自然语言查询球队数据和预测比赛胜平负概率、xG 与比分。生产模型与运行数据随仓库版本化，克隆后即可直接运行。
GitHub 开源项目 llm-engine 提供了一套模块化 LLM 工程栈，覆盖 LoRA/PEFT 微调、评估、RAG、推理网关与 Docker 部署，面向 CPU 本地开发，领域为医学教育。项目以 Qwen2.5-0.5B-Instruct 为基座，使用 145 条医学 QA 数据，LoRA 可训练参数 1,081,344（约 0.2184%），LoRA 模型延迟从约 12.41 s 降至约 2.14 s，但关键词覆盖率由约 0.61 降至约 0.448。RAG 采用 Sentence Transformers 与 FAISS，检索实验 Recall@1 和 Recall@3 均为 1.00。
SWE-Critix 是一个用于训练编程智能体轨迹通用验证器的后训练 pipeline，结合 SFT 与 RL，基于 CodeForge-Preview 轨迹训练了 30B 模型，可预测任务完成标签并生成自然语言分析。在留出测试集上，分类准确率从基座 Qwen3-30B-A3B 的 57% 提升至 SFT 后的 66%、RL 后的 78%。模型、数据集与训练代码均已开源发布。
作者开源了独立于 NanoKV 的 LLM GPU 算子项目 llm-gpu-kernels，包含 BF16 MoE grouped GEMM 局部融合与四段KV GQA prefill attention，硬件为 RTX 3080 Laptop 16 GiB（SM86）。attention 短query冻结选择在合成验证矩阵中相对完整 FA2 链路 Graph 耗时几何平均减少 22.09%，最坏慢 2.17%；M24 对 W4A16 packed gate/up 的布局机制对照中六个固定 case 相对同量化 vLLM 低 21.17%。项目按 M0–M24 分阶段报告，记录了失败实验、适用形状边界与回退策略，作者明确说明为单 GPU 原型，不构成 expert-parallel 或 serving 经验。
推荐理由：作者用逐阶段报告和固定输入复测记录了 MoE 与 attention 算子在 RTX 3080 上的实测收益和明确边界，可迁移到类似单GPU原型工作。
一位 Reddit r/LocalLLaMA 用户测试发现，Qwen3.8 Flash Next iq3 xxs 在“纯 HTML/CSS/JS/SVG 写太阳系 3D 仿真”任务上反复失败，还耗尽 120k 上下文限制，而 27B iq3 xxs 能一次成功。在 agentic coding 任务中 Flash Next 思考面广但实现常失败、需多次跟进，token 消耗大；27B 则更简单但能用。
独立研究仓库 trajectory-sft-agents 发布在消费级单卡上运行的小模型Agent后训练项目。基于 Qwen2.5-1.5B-Instruct 的 ALFWorld 实验，用600条环境执行验证的专家轨迹做 LoRA SFT，再经在线GRPO，完整任务成功率由 Base 6.25% 提升至 SFT 68.75%、SFT+GRPO 77.08%。另一组 BFCL 实验将 Qwen3-1.7B 的多轮工具任务测试成功率从 2.5% 提升至 32.5%，单张RTX 5090训练约70分钟。仓库公开训练配置、专家轨迹、LoRA权重与逐题rollout，附CPU可运行的证据核验脚本；作者说明这是域内训练与内部留出评测结果，域外小样本评测未观察到明显退化但也不构成通用能力提升的证明。
推荐理由：作者给出完整训练链路、逐题成绩和可复现证据，读者可以在消费级单卡上照此复现小模型Agent后训练。
Reddit r/LocalLLaMA 网友分享本地开源权重模型做长篇创意写作的体验：最推荐 Gemma 31B Mero-mero-v2 微调版，写得自然、基本无审查；Qwen 3.8 27b 微调写作令人失望；Muse Glimmer 30b 输出方差大；Gemma 31B Artemis 偏向 RP 且有拒答。作者还用 Pi 搭建写作 harness 来纠错、消除 AI 套话。
Hugging Face 上架了 NeuralNet-Hub 发布的 Qwen3.8-27B-Uncensored-NVFP4 模型仓库。该模型 README 为空，未提供任何说明；目前尚无下载量统计，也没有被任何 Inference Provider 部署提供推理服务。
CAST（Chunk-aware credit Assignment with Selective Token Anchoring）是一种 shift-or-stay 框架，解决跨 tokenizer 在策略蒸馏中的信用分配问题：对已对齐 chunk 按预测不确定性和教师信号平滑度重新分配优势，对未对齐位置用 KL 惩罚将学生锚定在初始策略上。在六个数学、科学和代码 benchmark 上，CAST 从 Qwen3-8B 向 Mistral-7B 和 Llama-3.1-8B 跨 tokenizer 迁移时，平均分别超过最强基线 2.45 和 1.32 分，向共享 tokenizer 的 Qwen3-1.7B 迁移时超过 2.10 分。
开发者 Abhijith K J 开源了 Aegis-Med，一个生产级零框架临床分诊 Agentic AI 后端，不用 LangChain 或 LangGraph，用纯 Python 有限状态机实现 ReAct 循环。系统在 NVIDIA H100 上以 vLLM 常驻 Qwen2.5-7B 基座模型，推理时动态热插拔自训练 QLoRA 适配器（r=16、5M params），并用 PostgreSQL 16（pgvector + tsvector）实现 RRF 融合与 Cross-Encoder 重排序的 Hybrid RAG。内置确定性安全层，在分诊结束前自动检索 RAG 引文，校验如 Creatinine Clearance 等计算指标是否符合医学指南。
monte97 发布 observability-agent-lab，配套 DevFest Milano 2026 演讲，用四个递进步骤展示可观测性智能体构建：从模型直接写 LogQL/PromQL，到从运行时枚举中选查询、加入 LangGraph 循环（假设、专家、guardrails、路由），再到按 upstream first 规则协作的多智能体团队。以 mistral/codestral-2508 在 2026-10-09 实测，健康系统下步骤 03、04 达 4/5，normalizer 停机场景从 1/9 提升到 9/9，每次调查约 13 次模型调用。
loopai-hq 发布推理引擎 Pulsar 1.1.4（前身 fastkernel），用于在 Apple Silicon Mac 上本地运行 Qwen3.8-27B 和 Qwen3.6-35B-A3B，基于 Apache-2.0 的 Splash 1.3.0 构建。
推荐理由：原文给出同一台 M5 Max 上与 lithos-metal、Splash、MLX-LM、llama.cpp 的逐项 tok/s 对照和测量方法，速度结论可以直接核对。
研究者提出 S$^3$R（Self-Sparse Speculative Rollouts），用稀疏注意力起草 token、全注意力验证与精确投机采样生成响应，响应组保持稠密策略分布，无需单独训练 drafter。在长上下文数学推理任务上，S$^3$R 在 Qwen3 模型上实现 1.39x~1.35x 的端到端训练吞吐提升，任务性能相当，并在消融实验中保持训练稳定。
GitHub 开源项目 soulkiller 可将你的邮件、聊天、帖子等 14 类个人数据导出，微调成一个模仿你说话风格的 Qwen3 模型，并配套检索记忆索引，全程在本地 Mac 解析、自有 GPU 训练，无云端 API。项目采用 QLoRA 微调（Qwen3-4B/8B/14B，16 GB 显存可跑），仅对你本人的消息计算 loss，导出 LoRA 适配器和 GGUF；记忆部分基于 bge-m3 多语言嵌入索引做检索增强，仍在开发中。作者警告训练后的模型会记住你和联系人的隐私细节，切勿发布。
推荐理由：原文给出从数据导出、QLoRA 微调到检索记忆索引的完整做法，想要复刻个人数字分身的读者可以照着跑。
PreSTO 是一种预测式子树预取方法，通过批量预取未来 Metropolis–Hastings 提案来加速 PowerMH 采样器，且不改变其 MH 转移核。在 7 个数据集和 5 个基础 LLM 上，PreSTO 对 PowerMH、EntropyCut 和 MultiTryMH 分别取得中位 1.71×、1.91× 和 2.33× 加速，模型调用次数中位减少 3.9×，每次调用时长仅增至 2.1×。在 LCB V6 与 Qwen3.5-9B 上，预测式遍历规则比默认广度优先遍历再快 1.25×–1.37×。
Janas 是一个用 C 写、无外部依赖的 AI 工具族，其首个组件 Janas-LLM 让普通电脑（有无 GPU 均可）运行大型混合专家模型：权重留在磁盘，按 token 所需从 NVMe SSD 流式读取专家，常驻专家留在内存，80B 参数模型可在 32GB 内存的笔记本上运行。项目由 Maurizio "camauri" Cammalleri 编写，目前处于早期开发阶段，格式与 API 可能随时变动，且对内存和磁盘压力较大。已支持 Qwen3 系列 MoE 与稠密模型、Qwen3-Next、Gemma 4 等的 Q4_K_M 等多种 GGUF 量化格式转换，附终端聊天 janas-chat、MCP 客户端与服务器、OpenAI 兼容 HTTP API 和 janas-bench。
luongnv89 在 GitHub 开源 m-bench，一套针对自己机器基准测试完整 LLM 配置（serving 参数、thinking 模式、编码代理）的工具，每个任务附参考解，validate 需 28/28 通过。当前最佳配方为 unsloth/Qwen3.6-35B-A3B-NVFP4（MoE，约 3B 激活）跑 vLLM，关 thinking，core16+hard12 达 82.1% pass@1，吞吐约 35-48 tok/s 单流。多轮实测显示 thinking 对一次性代码生成多耗约 13 倍输出 token 仅换 +1.7 分，但在工具循环中可把轮次从 6.8 降到 5.2；同一权重经四个不同代理得分相差最多 23 分。
推荐理由：原文用多轮实测数据说明同一模型在不同配置和代理下得分差异巨大，为本地部署选型提供了可复用的基准方法和结论。
ModelScope 社区的 ms-swift 是一个大模型与多模态大模型微调及部署框架，支持 600+ 纯文本大模型和 400+ 多模态大模型的训练、推理、评估、量化与部署全流程。框架集成 Megatron 并行技术（TP、PP、CP、EP）和 GRPO、DAPO、GSPO 等 GRPO 系列强化学习算法，内置 150+ 数据集，支持 LoRA、QLoRA 等轻量化微调，7B 模型量化训练仅需 9GB 资源。近期更新包括支持 Xing4.0-29B-A4B、DeepSeek-V4.1-Flash 及 Day-0 支持 Qwen3.8-Flash-Next。
Huihui-ai 发布 Qwen/Qwen3.8-27B 的 abliterated 去审查版 GGUF 量化模型，多次更新新增 UD、UD-DW、GSQ-RCO、Ternary、Swift 等系列，其中部分版本仅消融第 22 至 52 层（0 起始索引）。模型提供 Q2_K_L 至 Q8_0_L 等量化格式，支持上下文长度 262144，可通过最新版 ollama（huihui_ai/Qwen3.8-abliterated）或 llama.cpp 运行。官方提示安全过滤已显著降低，建议仅用于研究和测试环境。
rffanlab/llm_eval 仓库公开可复跑的本地与云端模型工作能力评测，首期对比本地 Ryzen AI Max+ 395 运行 Qwen3.8 Flash Next 与阿里云 Token Plan qwen3.8-flash。2026-10-07 完成 10 类题、32 个主试验会话＋8 个诊断；2026-10-08 在同一台机器上对比 Halogen 0.9.1/W4B、0.17.2 默认 v2 与 Swift 1.5，完成 10 个题型、48 个主会话，硬验收分别为 15/16、13/16、10/16，Swift 调度器三次 13/13、耗时中位 35.60 秒。仓库仅用 Python 3.10+ 标准库，超时与题量限制表明结论只针对被测任务与当次配置。
Reddit 用户 /u/jjusko20 发布 Qwen3.5-2B-RCOL 动态低比特量化（IQ1_M、IQ2_M、IQ3_M），基于对 ISTALab RCO 算法的修改，可在严格 VRAM 预算下量化模型，且无需将 FP16 教师模型载入显存。作者称在 1 比特和 2 比特范围看到显著 KLD 改进，并在与标准 llama.cpp imatrix 量化相同 wikitext 校准、双保留集测试下给出 KLD 对比表，IQ1_M 散度大幅下降；GGUF 文件在 https://huggingface.co/trubisky/Qwen3.5-2B-RCOL，后续计划应用于家族更大模型。
r/LocalLLaMA 用户发帖力挺 NVFP4 量化格式，称其精度与 bf16、FP8 相当，甚至不逊于 Q8，并质疑批评者拿不出实际数字反驳。发帖人认为没有谁比 Nvidia 更懂定价，欢迎用数据证明其观点错误。
开源项目 llm-memctl 以荣誉学位论文形式研究三种记忆管理方式（无控制器基线、JEV、RL 策略）对智能体长任务表现的影响，框架已在合成任务上构建并验证，结果于 2026-10-05 从干净提交复现。已用 qwen2.5:3b（Ollama 本地 GPU）和 Qwen2.5-7B-Instruct（vLLM + RunPod）完成 LLM 任务模型评测，JEV 实验因缺少 API key 仍被阻塞。
作者将 HauhauCS 发布的无审查 Qwen3.8-27B（GGUF 格式）转换为自研 C++/CUDA 推理引擎 NInfer 的格式，在单张 4090 上跑出 262K 全原生上下文、约 130 tok/s 解码速度（MTP3，70.8% 接受率）、9K 提示词下 3,591 tok/s 预填充，Perplexity 与官方产物差距在 1.3% 以内，视觉和工具调用仍可用，采用 E8 4Bit 量化。转换器与说明见 https://github.com/T-Crypt/ninfer-4090/pull/4，仓库为 ninfer。
推荐理由：作者给出转换前后速度、上下文和困惑度的对照数字，读者可据此评估自研推理格式在量化去对齐模型上的可用性。
joyjeni 在 GitHub 开源了一个面向 ARC-AGI-2 任务的三阶段求解管线，已提交 Kaggle 上的 ARC Prize 2026 竞赛。第一阶段为确定性规则库，覆盖约 35% 的任务；第二阶段包含 21 个模式归纳求解器；第三阶段用 Qwen3-4B（grid-SFT checkpoint）做 LLM 推理，并对每个任务执行 20 步测试时训练。项目采用 MIT 许可证，提供自包含的 Kaggle 提交 notebook，需 GPU P100/T4 且运行时间不超过 12 小时。
groxaxo 在 Hugging Face 发布 ThinkingCap-Qwen3.8-27B-abliterated 的 UD-Q4_K_XL GGUF 量化版，共 866 个张量，直接从 BF16 checkpoint 转换并采用 Unsloth 的张量布局与 imatrix。附带独立 MTP draft、视觉 mmproj 和 chat_template.jinja，支持 llama.cpp 的 --spec-type draft-mtp 投机解码、enable_thinking 以及 low/medium/xhigh 推理力度。模型采用 PolyForm Small Business License 1.0.0，仓库声明不提供新的质量基准。