新闻、仓库与研究，按时间排列。
DigitalEnterpriseTransformation 在 GitHub 发布 llm-gateway，用统一入口对接 vLLM、SGLang、DeepSeek、OpenRouter、阿里百炼和 KIMI，对外只暴露一个 reasoning_effort 思考开关，并把三种上游思考流形态归一为 delta_reasoning / delta_content 双通道。库用法提供可插中间件的对象流，HTTP 用法兼容 OpenAI SDK，附带模型目录归一、结构化日志与等价性测试。
推荐理由：原文详细说明了把六家不同思考参数与思考流形态归一成统一双通道接口的做法，适合关心多供应商路由与流式中间件插入的读者参考。
Reddit r/LocalLLaMA 用户对比测试了 Qwen Flash 的 Q2_0 与 IQ2_XS GSQ-RCO 两种量化版本在旧笔记本上的表现。结果显示 IQ2_XS 更好地保留了世界知识，但比 Q2_0 更容易出现循环输出，尤其在关闭思考模式时；IQ3 则严重拖慢 prefill。两者在基准测试中各有优势领域，作者邀请其他用户分享使用体验。
mradermacher 在 Hugging Face 发布 Qwen2.5-0.5B-Instruct-3MPER0RR-abliterated 的 GGUF 静态量化版本，提供从 Q2_K 到 f16 共 12 种规格，体积介于 0.4-1.1 GB，其中 Q4_K_S/Q4_K_M 被标注为快速且推荐，Q8_0 为最佳质量。weighted/imatrix 量化暂不可用，用户可通过 Community Discussion 提出请求。
mradermacher 在 Hugging Face 发布 Qwen3-06B-3MPER0RR-abliterated 模型的静态 GGUF 量化版本，提供从 Q2_K（0.4 GB）到 f16（1.3 GB）共 13 种量化类型。其中 Q4_K_S、Q4_K_M 标注为快速且推荐，Q6_K 质量很好，Q8_0 快速且质量最佳。加权/imatrix 量化版本可在其模型页面获取，使用方法可参考 TheBloke 的 README。
huihui-ai 在 Hugging Face 上发布 Huihui-Qwen3.8-Flash-Next-abliterated-GGUF，这是用 abliteration 技术移除拒绝行为的 Qwen/Qwen3.8-Flash-Next 无审查版本。GGUF 文件来自 unsloth 系列，支持最新 llama.cpp 和 Strata，可用 llama-cli 加载，上下文设为 -c 262144。发布方提醒该模型安全过滤已大幅削弱，仅建议用于研究、测试或受控环境，使用后果由用户自行负责。
Xeldia 在 Hugging Face 发布 Qwen3.8-27B-ABLITERATED 的 GGUF 版本，提供 Q2_K 到 Q8_0 全部标准 K-quant 及视觉投影器，由 Blackfrost-AI 的 BF16 去对齐权重转换而来，保留 262,144 token 上下文和原生 MTP 投机头。发布页给出 R1-HARMFUL-BENCH-450 拒绝基准：经三阶段筛选后残余 11 例真拒绝（2.4%），并附 WikiText-2 困惑度对比与 DFlash2 投机解码实测中位 109.31 tok/s；DFlash2 路径需固定 llama.cpp PR #27342 实现。
同一新闻，精选展示《Blackfrost 发布 Qwen3.8-27B-ABLITERATED GGUF 量化版，残留拒绝率2.4%》
pedrofariasx 在 GitHub 发布 qwenproxy，一个本地代理服务，通过 Playwright 浏览器自动化把 chat.qwen.ai 的 Qwen 模型封装成兼容 /v1/chat/completions、/v1/models 和 /v1/upload 的 OpenAI 接口。支持多账号负载感知路由与 cooldown、多用户 API key 限流配额、SQLite 持久化、reasoning_effort 思考模式控制、多模态上传、本地工具执行、React + shadcn/ui 管理面板、Prometheus 指标，可通过 npm 全局安装或 Docker 部署；混合会话模式复用 Qwen 服务端历史以减少发送的 token，并自动重试退化为“Yes”类回复的请求。
推荐理由：本地代理方案把 Qwen 网页版封装成 OpenAI 兼容接口，多账号路由、混合会话省 token 和多用户配额等实现细节讲得完整。
作者用 469 题领域评测对比多个 Qwen3.8-27B 微调模型，mradermacher/Signal-3.8-27B-Terse-Coder.i1-Q4_K_M 在准确率、token 用量和完成时间上最优，仅 1 次超限。Opus 5.5 以 99.6% 准确率居首，但本地模型比前沿模型慢 28 倍（19 分钟 vs 9 小时），换取约 100% 的隐私。gpt-oss-120b 在 pandas/numpy 任务上表现糟糕，评测工具已开源。
GitHub 开源项目 thai-electric-bill-ocr 用本地运行的 Qwen2.5-VL-7B（经 LM Studio 提供 OpenAI 兼容 API）把泰国 MEA/PEA 电费单照片转成结构化 JSON/CSV，全程离线、不上传云端。在 4 张真实 MEA 账单上测得 20/40 字段正确（50%），每张约 40 秒（CPU），人工录入约需 2 分钟；needs_review 校验能标记所有金额算不平的账单且无误报。
RECAST（Routing Evidence through Computation, Access, and Synthesized Tools）提出一个学习式框架，把证据构建建模为对异构检索与计算操作的序列决策，让证据被主动推导而非仅仅检索。其 RouterLM 经 SFT 与 GRPO 训练，在 6 个基准家族上平均成功率 75.6%，超最强基线 15.9%；在 3 个 held-out 基准上平均领先 15.0%，Qwen3.5-9B RouterLM 超 Gemini 3.5 Flash 5.0%。
QCATS 是一个查询上下文感知的 Transformer 切片框架，利用查询谓词和元数据统计在模型执行前预选上下文对齐的 FFN 切片，实现数据库内高效稀疏推理。框架包含离线专家构建和轻量查询级路由，并引入异步 CPU-GPU 流水线与路由感知批处理等系统优化。在 BERT-base 和 Qwen-0.6B 的四项预测查询工作负载上，QCATS 延迟最多降低 4.42x，预测精度与稠密基线相当。
开源项目 aLuizab/llm-slo-lab 在 Kubernetes 上为 LLM 推理建立 SLO，测量 TTFT、输出 tokens/s、每请求成本和质量信号，基于 OpenTelemetry GenAI 语义约定，存储在 Prometheus 并用多窗口多燃尽率规则告警，配合 KEDA 扩缩容。该项目是 KubeCon Europe 2027 lightning talk 的配套实验，已在 CPU 上跑通 Qwen2.5-0.5B-Instruct（TTFT 0.4–0.5 s，约 4.5 tokens/s），llm-gateway 默认不记录提示词与响应内容，许可证为 Apache-2.0。
研究者提出 EncBank，把预训练 LLM 的低层视为可复用的文档编码器并紧凑存储其输出，供适配后的上层读取器使用，且各存储精度共享自蒸馏 suffix adapter、无需针对量化重训。在三个不同规模的 Qwen 骨干上的五个 benchmark 套件中，4-bit 存储与原生精度 EncBank 各项 aggregate 差距在一个分数点内；在固定 Qwen3-8B 负载下仅保留 28.1% 的原生精度 GPU 常驻存储，并实现 1.40x prefill 加速（RULER 准确率损失 3.12 分），原生精度 Qwen3.8-27B 还通过 Terminal-Bench 2.1 的 89 项任务中的 70 项。
论文发布 BehaviorTrace，一个开源评测框架，用于检验在线 RL（GRPO）微调中能否定位教会模型新行为的训练 rollout。在 Qwen2.5-1.5B 上跨三个 seed 的实验显示，仅按梯度大小排序的对照方法可达 4.2 至 4.5 倍随机水平，多数表观归因信号来自混淆因素；控制流畅度后，逐 rollout 结果随 seed 和生成采样波动。唯一在全部三个 seed 上成立的信号是触发 token 的梯度与行为实际发生处构建的目标对齐。
LocalAI-Lab 是一个在消费级硬件上搭建、运行和评测本地 AI 服务器的工程项目，聚焦 AI 辅助编程与学术研究/RAG 两类负载。编码栈采用 OpenCode + Qwen3-Coder-30B-A3B-Instruct，Q3_K_M 基准生成吞吐约 69.1 tok/s；学术栈用 Qwen3-30B-A3B-Instruct-2507 完成 24 篇论文的形式化筛选实验，两次运行均实现 8.3% 阅读量缩减并 100% 保留相关论文，全部运行记录与 SHA-256 指纹归档于 Git 以支持可复现性。
Jiachen Zhao 在 arXiv 发布论文提出 Persona Hierarchy Model，用共享默认人格解释微调行为在不同情境下的泛化差异。基于 Qwen3-4B 等共 120 个微调模型、4 种行为和 15 个训练情境的实验显示，泛化窄度与训练情境人格和默认人格的相似度正相关（Pearson's r = 0.72）；在默认情境下先微调可拓宽后续泛化。作者还提出 persona-preserving regularization（PPR），在 RL 中将 reward hacking 从 42-55% 降至最多 0.2%，同时保留准确率提升。论文链接 https://arxiv.org/abs/2610.09384v1
推荐理由：论文用 120 个微调模型的数据解释行为为何跨情境泛化，并给出能将 reward hacking 压到 0.2% 的正则化方法。
一项基于 Qwen3-0.6B 的受控研究显示，数据重复使 held-out loss 相对恶化 75%，同时 centred RankMe 反而升高 13.5 个合并标准差，谱弥散导致单侧监测把最差 checkpoint 判为最健康。作者提出双侧多通道时序监测器，能在 fork 后 10 到 60 步内检出全部三种损伤并按触发方向区分损伤类型，但其预警从不早于 held-out probe loss，且双种子校准会对留出的健康种子产生误报。
Jonghyun Han 在 arXiv 发布论文，发现持续预训练和微调中的灾难性遗忘集中在语料中罕见出现的 token 的输出嵌入，由 Adam 二阶矩归一化放大单侧 softmax 梯度所致。提出仅对输出投影提高 Adam epsilon 的干预，在 160M 到 12B 参数、四个模型族的八个设置中消除 39.4% 到 67.9% 的遗忘且不损害目标学习，与 replay 叠加后在 Qwen/Korean 上达到 79.8%，但事后编辑漂移行只能恢复不到 5%，因此必须在训练期间施加干预。
推荐理由：论文把灾难性遗忘定位于低频词的输出嵌入，并给出仅调 Adam epsilon 的单行干预及其跨 8 个设置的验证数据。
Hugging Face 用户 sanasol2008 发布 Qwen3.8-Flash-Next-Abliterated-Sushi-2bpw，这是基于 orcarouter/Qwen3.8-Flash-Next-Uncensored 的 BF16 权重直接转换的实验性 Sushi 格式 2bpw 量化包，本身未做额外 abliteration 或微调。完整下载约 64.87 GiB（含 29.8 GiB n-gram sidecar），在 Apple M3 Max / 48 GiB 上用 Sushi 1.1.1 测试，warm decode 约 26.48 tok/s，配置上限 256k 上下文，并保留了视觉权重与 MTP 权重（MTP 推理未验证）。
GitHub 仓库 jinsan02/qwen-llmops 发布 SafeWave-AI M5 模块，基于 Qwen2.5-1.5B 构建独居老人安全监测的紧急判断 SLM 管线，整合 M1~M4 专家模型输出与每分钟 vital 时序（≤60行）判断风险，并按 GGUF Q5_K_M 量化（1.29 GB）面向 RPi5(arm64) 部署。Track B 合成测试 strict 317/328 = 0.966、grounded 323/328 = 0.985，规则门限 0.6 以下不调用模型。全部评估数据为 100% 合成生成，所有指标均来自开发 PC(x86)，RPi5 实机实测未进行，且声明该项目是 LLMOps 工程研究而非医疗器械。
NOST-IA（Nodo Operativo Soberano Territorial）是一个 GPLv3 开源、100% 离线的库存与成本管理系统，面向社区商店、合作社等小型组织，数据经 Dexie/IndexedDB 本地持久化，不上传外部服务器。它集成通过本地 Ollama 运行的 Qwen 2.5 Coder 1.5B 作为柜台 AI 助手，支持发票智能加载、SHA-256 签名的一键备份，最低要求 4 GB RAM，需 Node.js v18+。
Qwopus3.8-27B-Flash-V2 是基于 Qwen3.8-27B 的 Qwopus3.8-27B-Flash 的更新后训练版本，采用新的奖励函数与强化学习方法，目标是减少无效推理、降低 Agent 长任务的推理成本。V2 还针对上一版报告的 Python 缩进问题进行改进，在 temperature-0.3 的 Python 格式检查中未再观察到格式失败，该机制仍是工作假设。
用户 3MPER0RR 在 Hugging Face 发布基于 huihui-ai/Qwen2.5-0.5B-Instruct-abliterated-v3 的 abliterated 模型，采用多轮 abliteration 处理，已测试并保存。模型为 0.5B 参数、BF16 精度，以 Apache 2.0 许可发布，权重格式为 Safetensors。
/u/Prudent_Appearance71 在 2 张 64GB CMP 170HX 上用 EXL3 3.05bpw 让 GLM-5.3-Flash 目标权重完全驻留 HBM，配合 6bpw DFlash2 草稿模型和环形缓存跑通 384K 上下文，解码约 90 tok/s，配置和脚本已开源在 https://github.com/Flun/glm53-flash-cmp170hx-exl3。
推荐理由：作者在同一台机器上实测两套本地部署方案，把原始推理速度和真实智能体任务完成时间分开对比，思路对搭建类似配置有参考。
GitHub 开源项目 Hecate 是一个面向 LLM 辅助软件工程的轻量路由框架，用 DistilBERT 级别的编码器路由器判断编码/调试任务由小模型处理还是需升级到大模型。其路由标签基于执行结果：在 300 个 SWE-bench Lite 任务上，用 Qwen 2.5 7B 和 Qwen 2.5 72B 两档模型（经 OpenRouter）各生成一个补丁，共 600 个补丁，经 Docker 运行测试后以能解决问题的最便宜模型档位定标签。仓库目前覆盖补丁生成、执行、标签构建和 v1 路由器训练（ModernBERT）四个阶段，预算目标约 $38、硬上限 $100，采用 MIT 许可证。
3MPER0RR 在 Hugging Face 上发布 Qwen3-06B-3MPER0RR-abliterated 模型。该模型可通过 Transformers 的 pipeline 或 AutoModelForCausalLM 直接加载，也支持 vLLM、SGLang 和 Docker Model Runner 部署，后两者均提供 OpenAI 兼容 API 调用，并可通过 `docker model run hf.co/3MPER0RR/Qwen3-06B-3MPER0RR-abliterated` 运行。
发布者在 Hugging Face 放出基于 Qwen/Qwen3.5-9B 的完全去审查版本，先用正交投影消融去除拒绝方向（3 轮），再用 QLoRA（r=64, alpha=128）微调消除剩余 5 类顽固拒绝，拒绝率从基座的 0/18 降到 18/18 全应答。文中给出逐层拒绝方向强度、与 Dolphin-Mistral 7B 同为 94% 的对比结果及 Ollama、GGUF、MLX 等多种格式下载。
推荐理由：原文给出了两阶段消融流程、逐层拒绝方向数据和前后拒绝率对照，读者可以据此判断这个去对齐版本到底去掉了多少。
开源语音听写应用 Audian 1.0.0 发布，支持在 Windows 任意应用中按快捷键口述，本地生成整理后的文本。它用 whisper.cpp 做语音识别、本地 Qwen 3.5 2B 做改写，全部在 CPU 上运行，音频不离开电脑，无需账号和订阅；默认模型约 1.5 GB，识别支持 99 种语言，从说完到上屏通常 0.5 到 2 秒。项目受 Wispr Flow 启发但独立开发，MIT 许可，要求 Windows 10/11 64 位和支持 AVX2 的 CPU，建议 8 GB 内存。
推荐理由：原文给出了本地运行链路、模型选型和资源占用实测数据，读者可以据此评估纯 CPU 语音听写在自己机器上的可行性。
GitHub 上的 hotel-rag-assistant 项目用 RAG 让本地模型根据酒店 PDF 文档回答客人问题，检索不到就拒答，全程本地运行、无需 API key。默认配置为 Qwen2.5-1.5B-Instruct 加 2 句窗口切片，在 34 个测试问题上答对 24/26（92%），并拒绝全部 8 个离题问题，CPU 上每次回答约 18 秒。项目提供 Streamlit 界面、hotel-rag CLI、内置评测，纯检索 MRR 达 0.981。
GitHub 开源项目 NHL-Predictor 用 xG、Corsi 等赛前变量加上大语言模型提取的赛前新闻预测 NHL 比赛，并以固定 10 € 模拟投注验证，不涉及真实下注。walk-forward 回测覆盖 2018-19 至 2026-27 的 9,830 场样本，log loss 为 0.6647，模型预测主队获胜准确率 59.2%，2025-26 赛季对 Pinnacle 收盘 0.6726 对 0.6719，表现与市场相当但未能明确胜过。新闻抽取默认用 OpenRouter 免费的 Nemotron 3 Super 120B（每场 6.7 秒，门将识别率 91%），本地默认走 Ollama 的 qwen3:8b。
johngbl 发布了开源项目 QwenProxy（https://github.com/johngbl/qwenproxy），一个兼容 OpenAI 和 Anthropic 协议的 API 网关，将 Claude Code CLI、OpenAI Codex、OpenCode、Cursor、Zed 等编码智能体桥接到 chat.qwen.ai。它提供 /v1/messages、/v1/responses、图片与视频生成等端点，支持多账号轮换与自动故障转移，单 Chromium 实例约 200MB 内存；thread-temp 模式每次请求仅约 1KB 增量负载、TTFB 约 0.6s–1.2s，可用 qpx sync 一键配置各编码智能体。
推荐理由：原文详细给出四会话模式、多账号轮换和各编码智能体的一键接入配置，读者可以按需迁移到本地开发环境。
作者在 Minisforum Venus 迷你主机加 Intel Arc Pro B70 32GB eGPU 上，用 llama.cpp SYCL/XMX 加 llama-swap 搭建单端口 OpenAI 兼容端点，供 opencode 和 pi 调用。仓库列出 14 个量化模型的 VRAM 占用与吞吐实测，10 月 7 日新增 Swift 1.5 Qwen3.8-27B，2048-token 微批提升 8K prompt 摄入约 10%，新概率 MTP 模式在 f16 生成上提升 9.5%、q8 上提升 4.7%；另附 LocalAI 对照、Qwen/Agents 调优前后配对测量及故障排查说明。
推荐理由：原文给出 Intel Arc Pro B70 上 llama.cpp SYCL 部署的完整配参、VRAM 实测与多模型调优数据，可复现到同类 eGPU 本地推理环境。
I3K Technologies 发布 I3K RAG Engine 0.1.x，将原 Python 多容器方案用 Rust 重写为单个二进制，首次运行下载并按 sha256 校验约 12 GB 组件，之后完全离线运行，数据不出本地服务器。系统支持 PDF、Office、邮件、图片（OCR）等多格式文档，用 BAAI/bge-m3 嵌入加 Qdrant 检索，内置 JWT 认证、每日备份和性能基准工具；1.x Python 版保留在 python-legacy 分支，无自动迁移路径，项目以 AGPL-3.0 授权并提供商业许可。
推荐理由：原文完整给出了自托管 RAG 引擎的部署方式、组件架构和安全设计，读者可以据此评估它是否适合本地私有文档场景。
CMU Full Stack Data Lab 开源了 AI-SQL 执行引擎 Quail（QUery Aware Inference Layer），支持用 AI.IF、AI.SCORE、AI.CLASSIFY 等算子在 SQL 查询中按行用自然语言让 LLM 求值。引擎经 PyPI 包 quail-engine 安装，要求 Python 3.12 和 CUDA GPU，兼容 Snowflake AI_FILTER 与 BigQuery AI.IF 两种方言，每条查询可用 1-8 块 GPU，已支持 Qwen3 4B fp8（H100 SXM）、Qwen3 32B fp8 与 DiffusionGemma 26B-A4B fp8。可选的 Quail Server 支持客户端断开后查询继续运行。
VYOM+ Sense 是一个 Hacktoberfest Track 4 的资格赛提案，用本地开源权重 LLM 对缺少凭证类型的 Excel 交易行进行分类，从 27 个官方凭证类别中预测。方案先用确定性会计信号层提取方向、货物、资金、税务、冲销等事实，再让 LLM 基于证据推理，输出 voucher_type、confidence、reason_codes 和 review 标志。候选模型为量化 Qwen3.5-9B（备选 Qwen3.5-4B、对标 Gemma 4），目前尚未实现或测试。
faisalmumtaz89 在 GitHub 发布 Rust 编写的 Lumen 推理引擎，单个二进制文件即可下载模型并 GPU 常驻推理，不依赖 PyTorch、ONNX 或 Python，使用原生 CUDA C 与 Metal 内核和自研 .lbc 模型格式。当前支持 Qwen3.5 与 Qwen3.8 的 dense 9B、dense 27B 和 MoE-35B-A3B，以及 Qwen-Image-2.1 文生图，提供 OpenAI 和 Anthropic 兼容的 SSE 流式接口；Qwen3.5-MoE 在 A100 上 Q8_0 解码速度 79.2 tok/s，约为 llama.cpp 的 0.567 倍。项目以 MIT 或 Apache-2.0 双许可开源，API 和格式尚未稳定。
WebSlice 发布，可将大语言模型切分到同一房间内多台设备的浏览器标签页，通过 WebRTC 传递 10 KB 激活向量协同推理，无需安装或服务器。支持 Qwen 3.8 27B（15 GB Q4_0 权重），演示在 MacBook 加 iPhone 上以 10.7 tok/s 生成 400 tokens；GB10 上 plain 解码 9.0 tok/s、推测解码 16.1 tok/s，同文件同 GPU 的原生 llama.cpp 为 8.0 tok/s。默认启用 Groq Cloud 模式会把提示词和对话历史发送到 Groq，需手动关闭才走本地 WebGPU 推理。
推荐理由：原文给出 WebGPU 内核设计、与 llama.cpp 同机对照的实测数据，读者可以据此评估浏览器分片推理的实际水平。
该仓库提供在AMD RX 9070 XT（16 GB）上以ExLlamaV3加TabbyAPI运行Qwen3.8-27B EXL3 3.0 bpw的完整脚本，作为OpenAI兼容本地服务器，支持128k上下文、工具调用和图像输入。配合RDNA4补丁和3.0 bpw DFlash2草稿模型做投机解码，短上下文代码生成约130 tok/s，128k下约100 tok/s，对话约55-65 tok/s，WMMA GEMV使草稿验证开销从1.55x降到约1.16x，DeltaNet replay节省约1 GB显存。项目独立，代码由Claude Opus 5.5编写并经GPT-6.1 Sol审阅。
推荐理由：README给出了RDNA4上跑Qwen3.8-27B的完整补丁、基准数字和一键脚本，方法可直接复用到同款AMD显卡。
Hugging Face 用户发布社区合并检查点 qwen3.5-9b_abliterated_0x100refusal_vision_int8_convrot，将 lukey03/Qwen3.5-9B-abliterated 的语言权重与 huihui-ai 的 337 个视觉张量合并，共 1,264 个张量、约 9.83 GB，面向支持 INT8 ConvRot 量化的 ComfyUI。250 个语言矩阵相对 L2 量化误差平均 0.9713%。"0% Refusal" 仅为上游命名，并非实测拒绝率；该项目为 Apache-2.0 许可的实验性合并，非官方发布。
Flant 的 Александр Подмосковный 发布 hardfest-gpu-workshop 实战教程，从手动运行 Gemma 开始，测算 KV cache 内存、启用 prefix cache 与 CPU offload、chunked prefill 和 speculative decoding（MTP），再通过 AI Inference 平台复现同一配置作对比。
推荐理由：作者以自己的实验台手把手推导 KV cache 计算并逐项验证各优化机制，方法论清晰，可迁移到自己的推理部署调优。