新闻、仓库与研究，按时间排列。
beijingrice 开源的 semantic-harness v0.4.4 是一个供应商无关的中英文学术/技术文档语义对齐校验工具，保留 v0.4.3 双模型架构，新增针对 if / only if / sufficient / necessary 的保守条件方向归一化。其架构用 Qwen3.5-9B GGUF 作 Primary A、Ministral 3 8B GGUF 作 Verifier B，Verifier 不接收 A 的标签或输出以保证独立判断；两者一致则自动接受标签，不一致则返回 REVIEW_REQUIRED，结构性冲突标记为 GUARD_MODEL_CONFLICT。
一位 Reddit 用户在 RTX 2060 6GB + 32GB DDR4 上用 llama.cpp 运行 Qwen3.6-35B-A3B Q4_K_M 量化模型，实现 131072 tokens 上下文和视觉能力。空 KV cache 时约 600 tok/s prefill、23 tok/s decode，约 90k context 时稳定在 485 tok/s prefill、15 tok/s decode。通过视觉投影器走 CPU（--no-mmproj-offload）和 MoE 专家层部分放 CPU（--n-cpu-moe 39），VRAM 占用控制在 ~5.2 GB 以内。
VIGIL 是一个基于 LLM 的自主交易智能体，在美股闭市、Bitget 代币化美股（rToken）7×24 交易期间管理 rToken 与加密货币混合组合，每约 5 分钟感知宏观新闻与情绪并自主执行风控订单。决策模型为 Qwen qwen3.8-max，内置回撤熔断、硬性 kill-switch 和单资产集中度上限，每笔决策签名记录、可审计、防篡改。默认以模拟 paper 模式运行，支持接入 Bitget UTA v3 演示环境。
StickLLM 是一个可启动的隐私 AI USB，插入后启动锁定的 Debian live 环境，在本机或局域网手机上与本地 LLM 对话，无任何云端调用。默认会话为 RAM 覆盖、重启即清空，持久化配置和下载模型需显式确认；v0.2 增加配对码解锁浏览器聊天与 Models 菜单，内置 Qwen2.5-7B Q5（GGUF）。目前仅支持 AMD 桌面 CPU + 32 GB 内存 + NVIDIA RTX 3090（24 GB）主机，项目采用 MIT 许可。
collabosm 是一个免费开源工具，可在用户自己的 Google Colab 账号里租用 A100 GPU 运行 Qwen3.8-27B 或 Qwen3.8-Flash-Next，通过本地页面聊天，按 GPU 运行时间付费，工具本身不收费。A100-80G 跑 Qwen3.8-Flash-Next 每小时约 6.77 compute units（约 $0.68），读写速度约 3,900/97 tokens 每秒；A100-40G 跑 Qwen3.8-27B 每小时约 $0.54，速度约 2,500/50-63 tokens 每秒，支持约 400,000 tokens 上下文和图片输入。
GitHub 开源项目「LLM vs LVLM」是一项 AI 安全学术研究，考察文本 LLM 上成功的 jailbreak 行为在以视觉形式呈现给 VLM 时是否仍然有效。项目集成 Qwen2.5-7B-Instruct、Vicuna-1.5-7B 两款 LLM 与 Qwen2.5-VL-7B-Instruct、LLaVA-1.5-7B 两款 VLM，统一封装在 BaseModel 抽象层下。实验将使用 JBB-Behaviors、AdvBench、HarmBench、XSTest 四个 benchmark，研究明确禁止制造新 jailbreak 或优化绕过 guardrail。
该仓库发布了一套在 16GB Apple Silicon iMac/Mac mini 上完全本地运行 Hermes Agent 的方案，用 Qwen3 8B Q4_K_M 配 64K 上下文与 8-bit KV cache，无需 API 密钥、无云端。Hermes 硬性要求至少 64000 token 上下文，默认 f16 下 64K 注意力内存达 9.00 GiB 不可用，改用 q8_0 后降至 4.78 GiB，llama-server 总占用约 10.47 GiB，剩余约 5.53 GiB。
推荐理由：给出了16GB统一内存跑64K上下文的实测内存账本和完整部署脚本，方法可直接复用到类似的本地Agent配置。
论文提出 Reward-Aligned Distillation（RAD），一种双层框架，通过预测每个 token 监督信号对学生模型更新后奖励的影响来加权 on-policy 蒸馏信号。在相同训练响应预算下，RAD 在六个竞赛数学基准上比最强基线提升 Qwen3-1.7B（non-thinking）6.5 个百分点、Qwen3-4B-Instruct-2507 2.5 个百分点；在 LiveCodeBench-v6 上，Qwen3-1.7B（non-thinking）与 OLMo3-7B-Instruct 分别达到 54.69% 和 58.67% pass@1，超过最强基线 8.7 和 6.4 个百分点。简化变体 RAD-Simple 在同等预算下取得相近数学准确率。
高效 LLM 代码生成系统性综述（投稿 ACM TOSEM）的复现包 v2.0 发布，系统分析 141 项主要研究，覆盖 RQ1 数据准备到 RQ6 技术组合共六个研究问题，文献截止 2026-08-31。分类体系含 24 个细粒度类别，其中推理优化研究最多（63 项）；对全部 141 项研究的 8 项报告合规审计显示，功能正确性覆盖 95%，但内存报告仅 21%。
开源项目 Gehor 发布，为高校提供完全离线运行的 AI 工单分诊与路由系统，基于 Ollama 运行 Qwen 3 4B 模型，可在 6GB+ VRAM 的消费级硬件上本地推理，云 API 成本为 ₹0。系统内置确定性安全规则引擎，火灾、骚扰等紧急事件直接绕过 AI 升级至校园安保，关键警报需通过校内邮箱验证身份后提交。技术栈包括 React/Vite 前端、FastAPI 后端与 SQLite 数据库，管理员手动改派会持续更新本地路由记忆。
niakw/NiakVIO-Brain-LLM 是一个独立于 NiakVIO 生产仓库的离线修复诊断层，选用 Qwen2.5-Coder-3B-Instruct（Q4_K_M）经 llama.cpp 本地运行，无需第三方推理 API。在 25 例历史 benchmark 中，causal layer、canonical strategy、mutation 合规等均为 25/25，abstention-policy 合规 24/25，未通过的 1 例由生产端 force_abstain 策略兜底。LLM 仅作有限建议方，沙箱执行、验证与发布权限仍留在 niakw/NiakVIO。
该仓库是 Ubuntu 电脑上本地 AI 实验室的知识库，涵盖模型库、Unsloth Desktop、自编译 CUDA 版 llama.cpp、Hermes Desktop、语音输入与代码 Agent。已验证 Qwen3.5-4B Q4_K_M 经自定义 llama.cpp 启动，UI 显示 68.4 tok/s，Qwen3-ASR-0.6B 可识别俄语语音；ASR 与 Hermes 及 TTS 的集成尚未完成，Aider 0.86.2 已安装。
GitHub 上的 THIRD-EYE 研究原型完成 Sprint 1，支持默认 LoRA 与可配置 NF4/bf16 QLoRA。任务 26946 于 2026-10-09 在单张 A100 MIG 2g.10gb 上 315 秒完成 K=3 候选更新、H=2 标签及保存/回滚/晋升检查，PyTorch 峰值显存 3.950179 GiB。作者强调这只是小数据管道冒烟测试，新 forecaster 的 MSE（1.643511677684728e-05）与常数输出基线相当，未做 held-out 评估，checkpoint 与 adapter 均仅存服务器端。
Oxpecker 是一个自托管的自动化渗透测试 Agent，基于 Qwen3-32B，用 LoRA SFT 在 123K+ 精选网络安全样本上微调。其安全机制在架构层面强制执行：执行 broker、按 engagement 白名单限定范围、内核级沙箱，而非依赖模型自身拒答。项目仍处于未完成的研究状态：GRPO 强化学习阶段仅有设计未实现，32B 流水线只有一个提前停止的不完整 SFT checkpoint，模型权重计划在 HuggingFace 以受限访问方式发布。
作者在 i9-13900HX + RTX 5060 Ti 16GB + RTX 4060 Laptop 8GB、32GB 内存的笔记本上，用 Strata 0.1.41 引擎跑 Qwen3.8-Flash-Next Q2_0（62 GB MoE）做了四轮基准测试，并开源了全部脚本与数据。核心结论包括单次测量速度可摆动 8 倍、prompt cache 会把 prompt_n 从 1259 污染到 5、KV cache 复用后多轮 TTFT 从 137.8 秒降到约 0.4 秒、双卡长 prompt prefill 快 8.4 倍、KV cache 不磨损 SSD、q4_0 长文档 perplexity 高 8~12%。
推荐理由：作者推翻自己两版错误方法论后才得出可信数据，给出单次噪声8倍、cache污染等教训，对想做本地基准测试的人有直接可迁移价值。
j-llm 在 Hugging Face 发布 orcarouter/Qwen3.8-27B-Uncensored 的 OptiQ 混合 4/8-bit MLX 量化版，约 19.2 GB，5.13 bits/weight。该量化基于对 uncensored 权重直接测量的逐层 KL 敏感度分配精度，保留 BF16 视觉塔与 MTP head sidecar，262,144 token 上下文；Capability Score 88.86，高于参考版 mlx-community/Qwen3.8-27B-OptiQ-4bit 的 87.98。
推荐理由：原文给出逐层 KL 敏感度测量和 6 项基准对比，读者可评估混合量化相对参考版的质量取舍。
autotrust 在 Hugging Face 发布 zai-org/GLM-5.3-Flash 的非官方精简版 GLM5.3-Flash-E192-DGX-Spark，通过 NAS 每层保留 288 个路由专家中的 192 个、专家用 NVFP4 量化，每 token 仍激活 18B 参数，权重 124 GiB 为家族最小，单张 180 GB Blackwell GPU 可跑，双 DGX Spark 各承担约 62 GiB。
推荐理由：作者用同一套评测跑出 E192/E224/E256 三档在显存、KV 容量和各基准上的差异，便于按硬件选型。
TechnoBaptist 发布的 Qwen-Image-2.1-Turbo-Uncensored-GGUF 模型已在 Hugging Face 上架，提供 Q2_K 量化版本。用户可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Pi、Hermes Agent 等工具拉取运行，llama.cpp 支持启动本地 OpenAI 兼容服务器并提供 Web UI。
GitHub 开源项目 bd-legal-rag 提供孟加拉语与英语双语检索增强问答，针对孟加拉国法律条文，答案引用具体条款，语料无法回答时直接拒答。系统在 43,966 个语料块上评测：qwen2.5:14b 生成答案引用指向检索片段的比例达 1.00，拒答准确率 0.91，答案正确率 0.71；加 cross-encoder rerank 后 recall@5 达 0.878。支持 Ollama 本地、OpenAI、Anthropic 等多种 LLM 接入，附带 HTTP API、流式 UI 和 248 个离线测试。
开源项目 esp32-voice-assistant 在 Waveshare ESP32-S3-AUDIO-Board（XiaoZhi 固件）上搭建本地语音助手，通过 Mac 上的 xiaozhi-esp32-server 调用 Ollama 运行 qwen3:8b，实现本地 STT 与 TTS。项目演示了语音天气查询功能，get_weather 工具基于 Open-Meteo，未指定地点时默认 Nampa, ID；另有一个 local-llm MCP 服务器（ask_local、list_models）让 Claude Code 把小任务交给 Ollama 处理。项目采用 The Unlicense 公共领域许可。
codavidgarcia 发布 Qwen3.8-27B-Uncensored-Heretic 的 UD GGUF 量化，采用 Unsloth 逐张量配方，MTP 头（blk.64）在各档保持 q6_K/q8_0，使模型连同原生 MTP 完整装入 12/16/24 GB 显卡。实测 16 GB UD-IQ4_XS 的 KLD 比可容纳 MTP 的同类量化低 2.4 倍，RTX 4080 上开启 MTP 后代码生成 55 tok/s，约为关闭时的 1.9 倍；拒绝率数据来自 llmfan46 的 Heretic v2（3/100 拒绝），本仓库未复测。
推荐理由：作者对每档量化都实测了 KLD、top-1 命中率和解码速度，并与同权重其他量化逐项对比，数据可直接用于选型。
一位 Reddit r/LocalLLaMA 用户求助：其双 Xeon（AVX1）+ DDR3 + 3060、P100、3050 的异构系统上，Strata 引擎的 GLM 5.3 Flash 各个 fork（含 GSQ-CRO 量化与 unsloth Q4）均无法运行，希望有人帮忙或推动 Strata 官方支持 GLM 5.3 Flash。
rajaykumar12959 在 Hugging Face 发布 Qwen/Qwen3.8-27B 的 abliterated 版本，用 difference-in-means 方向对每个残差写入权重矩阵做正交化，消融直接写入 checkpoint，无 runtime hook 和 LoRA，仅含语言模型部分（bf16，text-only，约需 55 GB 显存）。在 292 个 held-out 有害提示上拒绝率从 99.3% 降至 0%，覆盖全部 12 个类别；代价是 MMLU-Pro 从 65.1% 降至 61.8%（−3.3 pp），harmless 提示上的 KL 散度为 0.086 nats。
推荐理由：给出了完整的消融方法、逐层扫描和拒绝率前后对比数据，读者可以据此评估这次去对齐的实际代价与副作用。
GitHub 上的 Portable-Offline-LLM 项目可让用户在 Windows 上从 USB 闪存盘运行本地 AI 助手，无需安装、无需联网、无需管理员权限。应用使用 GGUF 格式模型（如 Qwen3），聊天数据保留在本地设备上，可在多台 Windows 电脑上离线使用。适合在共享或受限电脑上进行隐私写作、离线工作等场景。
开源仓库 local-llm 提供基于 llama.cpp 和 Qwen3 GGUF 的纯 CPU 本地推理方案，直接在 GitHub Actions 中运行。用户可在 Actions 页选择 local-llm 工作流并点击 Run workflow 启动。
toxicoder 在 GitHub 发布 evo-t1-coder-stack 仓库，一条 docker compose up 即可将 GMKtec EVO-T1（Intel Core Ultra 9 285H + Arc 140T iGPU，96 GB 统一内存）变成自托管开发工作区服务器。栈内包含 Coder 工作区（默认终端重连 tmux 会话，Grok Build、Cline、Kilo Code 预接线）、Kasm Workspaces 桌面流式、IPEX-LLM Ollama 在 iGPU 上运行 qwen2.5-coder:32b 等 Qwen 模型，以及 LiteLLM 代理将本地 iGPU 与多台 NVIDIA Spark 盒子统一为一个 OpenAI 兼容端点。
开源项目 PRNarrator 基于 Python、FastAPI、LangGraph、Ollama 和 Streamlit，可获取 GitHub pull request、汇总变更文件、输出启发式风险信号、识别测试文件，并用本地大语言模型生成面向审阅者的报告。项目默认使用 qwen2.5:3b 模型，通过 GitHub REST API 拉取元数据和 diff，提供 POST /analyze 等 API 与 Streamlit 界面。其风险分析仅为启发式判断，不执行测试、不批准或合并 PR。
AtomicChat 在 Hugging Face 上发布 Qwen-Image-2.1-Turbo-Abliterated-Uncensored-GGUF 模型，提供 Q4_K_M 量化版本。文档给出 llama.cpp、Ollama、Docker Model Runner、Lemonade 等多种本地运行方式，包括启动 OpenAI 兼容服务器和终端直接推理的命令，并覆盖 Pi、Hermes Agent、OpenClaw 等工具的配置方法。
IsValorum 在 Hugging Face 发布 Swift-1.5-Qwen3.8-27B-Uncensored-MTP 的 VAL-APEX-I MiniPlus V3 GGUF 量化版，文件大小 14.28 GB，whole-file BPW 为 3.93，WikiText-2 PPL 为 6.6669，比 GSQ-RCO IQ3_S 基线降低 5.70%。该模型基于 UkisAI 的 Swift-1.5 推理微调，内置 Multi-Token Prediction 投机解码头（blk.64.*，844M 参数），可在 llama.cpp 中直接加速推理，无需外部 draft 模型；同时保留高精度视觉编码器（mmproj-Q8_0.gguf），并维持法、西、德、中多语言语法完整性。
UkisAI 的 Swift-1.5-Qwen3.8-27B-Uncensored-MTP 推出 VAL-APEX-I NanoPlus V3 GGUF 量化版，文件仅 11.08 GB、整文件 BPW 2.85，WikiText-2 PPL 为 6.9102，比基线 GSQ-RCO IQ3_S 低 2.26%。模型基于 Qwen3.8-27B 的 27B MoE 推理微调，内置 Multi-Token Prediction 头（blk.64.*，15 个 tensors）可在 llama.cpp 中直接投机解码，并保留 mmproj-Q8_0.gguf 视觉编码器与法、西、德、中多语言语法完整性。
3hs4n 在 Hugging Face 发布 Ternary Bonsai 2 27B Uncensored Heretic v2 的紧凑版 MLX 权重，将 27 个视觉 MLP expansion 层从 FP16 量化为原生 MLX affine 2-bit/group-128，权重文件从 8.60 GB 降至 8.37 GB，节省约 230 MB（2.68%）。全部 2,057 个语言张量逐字节不变，思考模板与 tool-call 格式保留，上下文上限 262,144 tokens。已在 LM Studio 0.4.26+4 验证通过，但推理质量未经 benchmark，视觉量化为有损。
一项 arXiv 研究用“维基百科游戏”评测语言模型的信息检索能力，要求模型仅通过文章链接到达目标条目。研究者在本地构建了大规模维基百科图谱和基于 OpenAlex 的论文引用图谱，对比了嵌入向量模型与 LLM 在五种语言和五个学术数据集上的表现，并与人类及 TF-IDF 基准比较。结果显示没有任何模型显著超越人类，但 GPT-o3 mini、GPT-4o、QwQ:32B 和 DeepSeek-R1:70B 达到了可比水平，且性能排名随语言和主题变化。
GitHub 上开源的 MSA v2.0 是一个自主、隐私保护的移动应用渗透测试平台，内置 10 阶段自动化分析流水线，结合本地混合 RAG 引擎（BM25 + TF-IDF，RRF k=60）和本地 Ollama 推理（qwen2.5-coder:1.5b），无需云端即可检测 Android 和 iOS 漏洞。在 DroidBench 3.0、Ghera 及 104 个真实 Google Play 应用的评测中，其召回率达 94.2%，误报率降至 7.8%，平均扫描时间 47.3s，并能自动生成 CVSS v3.1 评分与代码补丁，全程 100% 本地离线运行。
Vericode 是一个离线 AI 代码验证工具，通过 Git pre-commit hook 用本地 LLM 在提交前捕捉幻觉导入、不安全代码并甄别误报，源码不上云。其架构分三层：import_check 快速标记幻觉包、Semgrep 离线规则安全扫描、Qwen2.5-Coder-7B（Q4_K_M）经 Ollama 做本地推理与修复建议。仅 setup 时需联网，之后全部离线运行，被拦截的提交可用 VERICODE_OVERRIDE=1 强制通过。
一项 arXiv 研究在 Qwen3-14B 上探索让模型学会何时拒答，比较训练模型本身与训练独立答案选择器两种方法。在 TriviaQA 上，学习型选择器将平均覆盖率从 20.2% 提升到 30.9%，已评分答案的错误率从 23.0% 降至 14.5%；但测试的强化学习方法未带来一致增益，NQ-Open 上选择器仍不如始终拒答，跨数据集的可靠拒答仍未解决。
Hugging Face 上线 Ternary Bonsai 2 27B Uncensored Heretic v2 的社区 MLX 2-bit 转换版，Safetensors 权重约 8.60 GB（含视觉塔），配置上下文上限 262,144 tokens，采用 Apache 2.0 许可。权重来自 Heretic v2 PQ2_0 模型，无损重打包为 affine 2-bit/group-128 存储且未做额外量化或训练。该模型需在 Apple Silicon Mac 上用 mlx-vlm 0.7.2 及支持 prism_hadamard_qwen35 架构的加载器运行，并提供 OpenAI 兼容 API。
Reddit r/LocalLLaMA 用户基于 81KB FP32 的 MacroStory 模型，用本地 Qwen3.8、自适应量化与 QAT 压缩出仅 24KB 的单文件 HTML-LLM，可生成连贯故事，手机上速度可超 60 tokens/秒。模型本体压到 20KB 时 KLD 为 0.01，最终方案 KLD 为 0.04，偶现重复句子。作者还提供了未打包 HTML 与本地 Python 推理文件。
独立研究项目 llm-reasoning-optimization 发布 v0.1，目标是用 SFT 加 GRPO 缩短 Qwen3-0.6B 的思考长度且不损失答题准确率，当前版本仅实现数据准备管道，尚未包含 SFT 训练、GRPO 和评估。管道克隆 BottleCapAI ThinkingCap-Test 固定 commit，下载四个数据集并加载 GSM8K 人工解答生成 SFT 数据，保留 BottleCap 评估基准（SVAMP、BFCL、MBPP+、IFEval）不用于训练，每来源固定 seed 0 并留出 200 条防止训练验证泄漏。下一步计划包括基于 LoRA 的 SFT 训练、BottleCap 评估适配器及 vLLM 后端。
千问（Qwen）发布 Qwen-Image-2.1-Turbo，这是 Qwen-Image-2.1 的加速检查点，支持 8 去噪步的文生图与图像编辑。模型沿用 7B 视觉生成架构，可通过 Diffusers 的 QwenImage21Pipeline 直接加载，采样日程随检查点自动加载，默认 CFG=1 并用 prefix KV caching 复用文本和参考图上下文。模型采用 Qwen Research License Agreement 授权。
推荐理由：官方发布了 8 步加速版文生图与图像编辑权重，采样日程随检查点自动加载，附 Diffusers 用法，适合想在本地跑快速生成的读者。
Kujira 在 Hugging Face 发布 Underdog-Saluki-27B-1.0-MTP 的 abliterated GGUF 版，仅改动第 35–36 层的 4 个张量，其余 862 个张量与原文件字节级一致，未做训练。有害提示词拒绝率从 99% 降到 1%（开思考时 78% 到 2%），英语困惑度上升 1.6%、日语上升 1.8%，速度和显存与 MTP 版相同，约 58–62 tok/s，12 GB 显卡可用 40K 上下文。消融方法未公开。
推荐理由：原文列出消融改动的具体张量、拒绝率前后对比和困惑度变化，读者可以评估这个去对齐版本的代价。