新闻、仓库与研究，按时间排列。
AtomicChat 在 Hugging Face 发布 Qwen-Image-2.1-Turbo 的无对齐 GGUF 编码器，将文本编码器 Qwen3-VL-8B-Instruct 的拒绝方向投影移除，作为聊天模型时英文拒绝率从 88.9% 降到 1.2%，俄语从 38% 降到 0%，MMLU 保持 77.35% 不变。实测显示原版 Qwen-Image 流水线本就能绘制全部 45 条敏感提示词的结果，45 条提示词无一翻转，图像 LPIPS 偏移约 0.088。文件按 BF16 到 Q2_K 量化阶梯提供，配 AD 布局和重要性矩阵，可用 stable-diffusion.cpp 以 --llm 参数本地运行，方法沿用 Arditi et al. 的单方向消融。
同一新闻，精选展示《AtomicChat 发布 Qwen-Image-2.1-Turbo-Uncensored GGUF 文本编码器，拒绝率从 88.9% 降至 1.2%》
Reddit 用户 /u/chibop1 称在 M3Max 64GB Mac 上用 oMLX 最新 commit 成功运行 Qwen3.8-Flash-Next-oQ4e-mtp，自己从 Qwen 仓库手动量化为 OQ4E，约 4.72 BPW。4K 上下文生成 1K token 可达 30 tok/s，最长跑过 130k 上下文；真实会话实测 prompt 处理 140.0 tok/s、生成 15.8 tok/s、缓存效率 90.9%，并给出了 memory guard、SSD N-gram Offload、MoE Expert Offload 等 oMLX 设置。
Kre80r 在 Hugging Face 发布 ThinkingCap-Qwen3.8-27B-Uncensored-Heretic 的 AutoRound W4A16 量化版，采用对称 4-bit 权重、group size 128，体积从 54.7 GB 降至 18.7 GB，上下文长度 262,144 保持不变。量化在 2x RTX 3090 上约 8 小时完成，已在 vLLM 0.29.0 中通过加载和文本、图像、工具调用冒烟测试，但未做质量评测。该模型经 Heretic 去审查处理、安全对齐大幅削弱，仅限研究与实验用途，许可为 PolyForm Small Business 1.0。
WordPress 新插件 DevBridge AI Provider for Magnitude（Stable tag 0.1.0）通过 Magnitude 的 OpenAI 兼容 API 将 WordPress 连接到本地开源推理引擎，支持文本生成、tool calling、结构化 JSON 输出及模型支持的图像和音频输入。插件要求 WordPress 7.0+ 和 PHP 7.4+，本地运行无需 API key，可自动发现已启动的模型，但不支持图像生成、embeddings 和语音。该项目为独立作品，与 Magnitude AI Inc. 无隶属关系。
CatchiMediaStudio2.O 是一个面向 Cloudflare Workers Free 和 Workers AI 的私有浏览器端创作工作台，支持文本、图像与语音生成。文本用 @cf/meta/llama-3.1-8b-instruct-fp8，图像用 flux-1-schnell，配音用 melotts，转录用 whisper（音频上限 512 KiB）；视频合成未启用，仅支持浏览器端 Canvas + MediaRecorder 拼装 WebM。应用侧限额为每天 3,000 估算 neurons 和 50 个文本任务，配额耗尽明确报错，不启用付费回退。
Leeroy 是一个面向联邦分析师和技术用户的 Python 本地优先分析助手，通过 llama.cpp 加载可选的本地 GGUF 模型（如 Leeroy-3B-Instruct.Q4_K_M.gguf，默认 4096 上下文）。它基于 Streamlit 提供 Text Generation、Document Q&A、Semantic Search、Prompt Engineering 和 Data Management 五种模式，用 sentence-transformers 做向量检索，并将聊天历史、提示词、嵌入和导入数据持久化在 SQLite 中。
GitHub 新仓库 Native-Media-AI-Studio 是一套本地音乐视频制作流水线：Suno v6-mini 的音频草稿输入，直接产出适配社媒的成品视频。它内置节拍/调性分析、Demucs 分轨与 Whisper 转写、音频响应式视觉、ComfyUI 文生图/图生视频和 Hunyuan3D 3D 生成，并用 Remotion 完成最终合成。项目针对 GTX 1070 Ti（8 GB VRAM）、32 GB 内存、Ryzen 5 5500 级硬件串行执行，采用 MIT 许可开源。
/u/dh7net 实测 Qwen3.8-Flash-Next 的 IQ3_S 量化版（ISTA-DASLab GSQ-RCO GGUF）在 RTX 5090 上经 Strata 服务、pi harness 运行 airbench 测试套件，11 分钟拿到 100% 得分，而 Claude Code 同任务同分但耗时 14 分钟；作者更正原标题未说明这是面向日常任务的基准，不是区分前沿模型的评测。复现需 24GB 以上显存、约 64GB 内存和 90GB 磁盘，IQ3_S 在 256k 上下文下约需 78GB 内存。同一服务器上 omp 18.4.2 得 48/49（16 分钟）、opencode 1.18.29 得 46/49（11 分钟）、dsh 0.2.0-rc.2 得 47/49（11 分钟）。
推荐理由：作者在 RTX 5090 上实测同一本地模型配不同 Agent 框架的 airbench 得分与耗时，并给出可复现的完整部署配置。
joshuaswarren 开源了 Remnic，一个本地优先的 AI 智能体记忆与上下文系统，MIT 协议，记忆以带 YAML frontmatter 的 markdown 文件存储在本地磁盘，无数据库、无云依赖。系统自动从对话中提取持久知识并在需要时注入上下文，采用 BM25 + 向量 + 重排序的混合检索，支持 OpenClaw、Claude Code、Codex CLI、Cursor、ChatGPT 开发者模式及任意 MCP 客户端共用同一记忆库，并提供与 mem0、Letta、Zep、Supermemory 等的对比矩阵。
zlatko-lakisic 在 GitHub 发布 My-Futuristic-Home 仓库，完整记录其本地控制智能家居的配置、硬件清单与基础设施布局。系统以 Home Assistant 为核心，结合 Frigate NVR、TensorRT 与 NVIDIA RTX A4000 做 AI 检测，并通过 Jetson Orin 上的 k3s 与 Ollama 实现边缘 LLM 智能体编排及花园自动灌溉。网络覆盖 NYC 与 Mostar 两个站点，采用 MikroTik 网关和多个 VLAN 划分。
开源仓库 CrucibleMark 发布 2026 版 v6.0.0，基准起始于 2026-10-10，由 Claude Haiku 5.5 担任 Judge。该模块化 LLM 基准框架测代码质量、CLI 操作、推理、UX 文案、文化智能、政治偏见与 Tool Use 等生产环境维度，采用混合评分（Regex、Embeddings、LLM Judge），支持 OpenAI、Anthropic、Ollama、vLLM 等多 Provider，模型逐一顺序测试并排除缓存优势。Leaderboard 可按 Apache 2.0、MIT 许可与自托管能力筛选，聚焦自托管开源权重模型对云端专有模型的对比。
huss129 在 GitHub 发布 SOC-AI-Assistant，一个本地运行的 Wazuh 告警分诊助手：从 Wazuh Indexer 拉取告警，用 Ollama 上的 qwen2.5:1.5b 小模型分类，再由确定性 Python 规则做最终判断，数据不出本机，结果存入 SQLite。实验室测试中，混合系统在 37 条告警（8 威胁 / 29 噪音）上达 100%，31 条由规则决定、6 条由模型决定；作者提醒样本小且评估部分循环，结果未必能泛化。
社区将 Blackfrost 的 Qwen3.8-27B-ABLITERATED（27B 参数）转换为 Inco AI 开源推理引擎 Splash 的 splash-packed-q4 格式，供 LM Studio 在 Apple silicon 上运行。包内含 4-bit affine 量化目标权重（组大小 64）、DFlash 2 投机解码草稿模型、BF16 视觉编码器和 tokenizer，磁盘约 16 GiB，原生上下文 262,144 tokens。转换仅做量化与重排，未改动权重；需 M3 或更新芯片、macOS 26.4+ 及至少 36 GB 统一内存。
开源项目 arabic-rag-wikipedia 提供分步教程式 RAG 应用，抓取阿拉伯语 Wikipedia 文章，切分为约 800 字符、100 字符重叠的块，用本地 Hugging Face 嵌入模型 paraphrase-multilingual-MiniLM-L12-v2 存入 Chroma 向量数据库，并通过 Streamlit 聊天界面用 Groq 免费层的 openai/gpt-oss-120b 回答问题，每个答案附来源链接。
postward-cc 发布 postward-local-media-gen 仓库，打包在消费级 NVIDIA GPU 上运行本地图像、语音、视频生成的脚本、工作流与 OMP 技能。图像走 Stable Diffusion WebUI Forge/SDXL，语音走 VibeVoice 1.5B-HF，视频走 ComfyUI 加 MiniMax H3 开放权重，附 RTX VSR 放大和 doctor.py 硬件诊断；RTX 4060 实测 T2V 0.4 MP 5 秒约 8 分钟，Forge 与 H3 共享 GPU 锁串行推理，仓库定位为技能优先接口，不依赖托管服务。
一位在 RTX 5090 上做本地推理的新手称，其先后尝试 Qwen 3.8 27b 与 Flash next 用于编程任务，发现 27b 不太遵守 AGENTS.md 和 agent skills 中的指令，分析广度与前瞻性也不如 Flash next，目前对 Flash next 满意。他向 r/LocalLLaMA 社区请教升级到更大模型是否值得：能否换来明显更好的质量、是否因智能程度更高而减少手工引导、以及是否有人升级后又后悔退回小模型。
TogoLM 是一个面向多哥的开源 AI 知识层项目，涵盖从网页抓取到微调 LLM 和公开 REST API 的完整流程。其语料库包含来自 55+ 来源的 62000+ 份多哥结构化文档，RAG 引擎支持法语全文搜索，并提供 JS/TS 与 Python SDK。微调基于 Mistral 7B Instruct v0.3 用 QLoRA 进行，目前训练仍在进行中。
VaultRun 是一个自托管的 AI 智能体安全运行时，让智能体在自有基础设施的隔离 Docker 沙箱内执行代码、查询数据库、调用云 API 和管理文件，数据不出内网。最新 v0.3.2 完成第二轮跨功能安全排查，修复 12 个缺陷，包括多智能体协作中的智能体冒充通道、checkpoint 分叉绕过会话配额，以及 MCP 浏览器工具中未修复的 Python 注入漏洞副本；作者建议所有 v0.3.0/v0.3.1 部署升级。v0.3.0 提供会话回放、浏览器自动化、成本追踪、自然语言策略、会话模板市场和多智能体协作六大功能，MCP 服务器含 61 个工具，核心版本采用 Apache 2.0 许可。
karanmjpinto 在 GitHub 开源 mjresearch，一个让 AI 生成投资研究可被核查的本地工具，核心做法是把问题编译成类型化计划，所有数字由注册的 Python 指标计算，模型只充当不看数值的 Planner 和带禁止算术规则的 Narrator。确定性校验流程会对照冻结数据快照复检每个数字论断，无法映射的标记为 unverifiable；每次运行记录输入、提示词、模型参数与输出，相同输入出现分歧时标记 nondeterminism_detected。默认通过 Ollama 本地运行 qwen3:30b，市场数据默认无密钥获取，组合账本存于本地 SQLite，并提供 13 个工具的 MCP server，可在 Claude Desktop 或 Cursor 中调用。
AarnavNoble 在 GitHub 发布 llm-engine，一个面向 Llama 架构模型（Qwen2.5-0.5B、TinyLlama）的服务引擎，实现 paged KV cache、continuous batching、chunked prefill、prefix caching 和 OpenAI 兼容流式 API，运行时无 PyTorch，前向为 C++。CPU 后端已完成并逐层对照 PyTorch 验证；CUDA 后端未写，结果页将相关行标为 not measured。
sjoe1244 发布了 llmfan46/Qwen3.8-27B-Uncensored-Heretic 的 EXL3 量化版，权重、lm_head、视觉塔和 MTP 头均为 4-bit，仅支持 TabbyAPI 或 ExLlamaV3。在一块 RTX 4090 上实测：加载后显存 21.0 GB，无思考模式 155–167 tok/s，MTP 起草接受率 81%；作者注明只做了短测，最长提示词 9K tokens，质量未对照 BF16 源模型。许可为 Apache 2.0，去对齐工作来自 llmfan46。
推荐理由：作者给出了单张 24 GB 卡上的实测数据，包括显存、速度和 MTP 接受率，对想本地跑同款量化的人有直接参考价值。
一位 Reddit 用户询问能否在 64GB 内存的 Mac 上运行 Qwen3.8-Flash-Next-4bit，并更新确认可行。其设备为 m3Max 64GB，最多可将 58GB 分配给 GPU。作者还希望借助 Strata、omlx 等引擎从 SSD 流式加载模型，并了解可用的上下文长度和速度。
一位 Reddit r/LocalLLaMA 用户在 5060ti 16GB 上用 AtCoder 近 30 天的 14 道题测试三个 Qwen 3.8 量化版本：Swift 1.5 IQ2_XS、Flash Next IQ3_S 和 27B IQS_3，各跑 none、low、medium、xhigh 四档思考力度，思考 token 上限 32k，全程耗时近 11 小时。结果显示提升思考力度主要带来 CAP 触顶而非解题提升，关闭思考则明显退化；Flash IQ3_S 解题最多且更快，是速度与准确性的最佳折中。
一位配备 5060 Ti 16GB 与 32 GB DDR5 的 LocalLLaMA 用户发帖求助：Strata 的 Q2 版本必须用 mmap，导致专家交换速度极慢，希望找到能高效换入专家的推理引擎或参数方案。他还提到 Flash-Next 的 Q1 版本质量差但恰好装得进内存，想在 Q2 或 Q3 下有效运行，并询问 Ista DasLab 的 Q2 版能否跑 Strata、在世界知识上能否胜过 27B 的较高量化版本。
一位 SillyTavern 用户在测试不同模型时探讨开启新对话需预留多少 VRAM，其上下文设置为 44k。实测发现 VRAM 并不随聊天推进而增长；即便上下文超出显存容量，占用也会封顶在 15.5/16 GB，超出部分卸载到共享内存，导致响应明显变慢。结论是只要不触及 15.5 GB 且共享内存保持在 0.1-0.3，LM Studio 中设置的上下文上限即可放心使用。
alesha-pro 发布 GLM-5.3-Flash-abliterated-Maya-M-GGUF，基于 Project Maya 的 Maya-M 量化，附带 2.2 MB 拒绝方向向量和 Maya 引擎补丁，可在推理时逐层移除拒绝。在 4x RTX 3090 上开启向量后 256K 上下文解码 56 tokens/s；178 条 AdvBench 与 JailbreakBench 请求中仅 2 条仍拒绝（自杀与自残相关），未开启向量的 EXL3 2.05 bpw 量化上原模型拒绝 144/146，开启后 438 条回答 0 拒绝。
推荐理由：作者给出拒绝向量构造方法与178条请求的拒绝率前后对比，并附KLD数据，读者可自行判断去对齐幅度。
satellitedown 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 abliterated fngine 单 GPU 推理包，迁移 huihui-ai 的消融结果，48 层单拒绝方向拟合最小余弦 0.9999985。在 RTX 5090 上对 32 个轻度提示词，未消融版拒答 8 个、该包 0 个，数学、Python 与知识测试两版得分相同，速度无可测差异。pack 约 89 GiB，要求 sm_120a GPU、约 60 GB 主机内存，提供 OpenAI 兼容接口与 256K 上下文。
推荐理由：给出了 abliteration 的迁移方法、消融方向拟合与拒绝率前后对照，可复核的去对齐发布。
GenCull 是一款面向 ChatGPT Plus 用户的开源用户脚本，用于清理 20 GB 存储上限中的重复附件和失败生成图。它通过 ChatGPT 网站的内部请求扫描存储，区分生成图与上传参考图，并批量删除重复副本。工具默认 dry run 模式，先删除一个测试文件验证，Autopilot 模式不会删除任何生成图；目前为 v0.1，尚未在真实账户上试运行。
GitHub 新仓库 cupertino_fundations_models 让 Flutter 应用在 iOS/iPadOS/macOS 上通过 Dart 调用 Apple Foundation Models，支持摘要、改写、结构化字段提取与分类，本地生成无需 API key。版本 1.9.0 实现 F01–F10 系列功能，包括 guided JSON、JSON Schema 子集导入、原生结构化快照、会话历史导出与可选 Dart 生成器；生成需 iOS/iPadOS 26+ 或 macOS 26+ 且配备 Apple Intelligence 的设备。
作者发布 GLM-5.3-Flash 的 EXL3 混合量化（gate/up 2 bit、expert down 3 bit，约 2.4bpw，98.1 GB），并附 2.2 MB 的逐块去拒向量，运行时从 4 条残差流中减去各 3 个方向来移除拒绝。在 4x RTX 3090 上可跑 256K 上下文（77% 专家驻留 VRAM），256K 下 178 个 AdvBench/JailbreakBench 回答 0 拒绝，原版 2.05bpw 量化在无思考模式下 146 请求拒绝 144 个；带向量后速度为 52.4 tokens/s 对比无向量 53.7。KLD 0.0959，需配合作者自己的 exllamav3 fork 使用，许可证 MIT。
推荐理由：作者给出逐块去拒方向的构造方法、拒绝率前后对照和KLD量化数据，可自行复现并检验量化与去对齐的实际代价。
一位用户自制的 Qwen 3.8 27B Swift 1.5 量化版（8 bit AWQ + GPTQ，W8A16）可在 48GB VRAM 上兼顾速度与质量。用 vLLM 与 MTP=5 在 2 张 RTX 3090 上运行，解码速度接近 100 tok/s，开启 128k context 和 FP16 KV cache 时每卡占用约 21.6GB。作者称其比原版 3.8 27B 更少过度思考，是他认为 48GB VRAM 下的最佳折中方案。
一位用户在配备 64GB 内存的 Strix Halo 迷你主机上实测，Qwen 27B 模型运行速度约 30 tok/s，而 qwen3.6-35b-a3b 能达到接近 80 tok/s，在这类小主机上已属可用。作者同时询问其他用户在类似硬件上跑 Qwen 27B 的速度，以及 Flash-Next 能否在这台设备上运行。
一位 Reddit r/LocalLLaMA 用户发帖征求适合网络安全用途的中小型模型体验，场景包括漏洞挖掘、重度编码、逆向工程、底层编程和脚本编写。其硬件为 i7-8750H、20G 内存、GTX 1050 Mobile（4G 显存），依赖内存卸载运行模型。发帖前已搜索并发现 CyberTiel 等候选，但其他模型缺少 benchmark 和可参考的使用体验。
beginning-ai 在 Hugging Face 发布了 orcarouter/Qwen3.8-Flash-Next-Uncensored（去拒绝的 BF16 版）的 NVFP4 混合精度量化，目标是单张 96 GB Blackwell GPU 上用 SGLang 运行。与官方 base 相比源模型改动了 1,658 个张量中的 149 个；checkpoint 占盘 120 GiB（BF16 源为 335 GiB），GPU 上约 78 GB 权重，47.7 GiB 的 n-gram PLE 表可放在主机内存或 NVMe。在 RTX PRO 6000 上单流解码约 265 tok/s（2K 上下文）、约 240 tok/s（200K），KV cache 786K token、上下文 524K。
推荐理由：原文给出了逐张量对比、校准数据与拒绝行为说明，读者能看清这个去对齐量化和官方版在结构与数值上的确切差异。
DAFO Swarm 可将大语言模型的层拆分到本地网络中的 Mac、NVIDIA 工作站和服务器上运行，通过 OpenAI 兼容 API（端口 43100）对外服务，并提供 Word 和 Excel 插件，数据保留在用户自有硬件上。该仓库提供 macOS、Ubuntu 24.04 和 Windows 安装包及 SHA-256 校验文件，支持 Gemma 4 E2B/E4B/12B/26B A4B、Qwen 等模型，应用每 6 小时检查一次更新。
Viboplr 推出 AI 助手插件，可接入 Ollama、LM Studio 等本地模型或 Claude、OpenAI、Grok、OpenRouter 等托管服务，用自然语言控制音乐库、播放、标签整理并解读歌词含义。助手不自带工具，而是复用 Viboplr 应用内建的 AI 工具目录，所有会改动数据的操作需在聊天中人工批准。本地模型需支持工具调用，如 ollama pull qwen3:14b，必要时调高上下文窗口（OLLAMA_CONTEXT_LENGTH=32768）。
Grow with Data 为计算机科学与工程系开设 10 周、20 次、共 40 学时的 LLM 应用开发实训课程，全程围绕电商客服助手项目 ShopWise 展开，从首次 API 调用到带 React 前端的部署应用。课程使用 Cursor/VS Code、Git、uv 和免费的 Gemini API key，环境一次性安装约 1 GB，无需单独安装 Python。各 session 代码当天上传至私有 GitHub 仓库，每次课后共享录像。
samuelyossef 在 GitHub 开源了 jev-openfast，一个通过聊天驱动的本地浏览器 Agent，调用真实 Chrome 标签页执行 CLICK、TYPE_TEXT 等操作，决策由 TypeSafe 的 typesafe/jev-1.13 结构化模型完成，文字输入使用 inception/mercury-2.5。模型不写选择器或代码，页面转为编号元素表后由模型从表中选操作和目标；发送、支付等外部承诺需人工批准，DONE 后会重新检查页面并给出 confirmed、not met 或 unknown 的验证结果。
推荐理由：这个本地浏览器智能体在执行前用元素表决策、DONE 后独立复核结果，作者还写明了 guards 与隐私处理的实现思路，可供搭建类似 Agent 参考。
Nova-Zero 在 Hugging Face 发布 Gemma-4-E4B-it-Uncensored-GGUF 无审查 GGUF 量化模型，提供 Q5_K_M 量化版本。该模型可通过 llama.cpp、Ollama、Docker、LM Studio、Jan 等多种方式本地运行，支持启动 OpenAI 兼容本地服务器和终端直接推理，也可在 Pi、Hermes、OpenClaw 等 Agent 工具中配置使用。
YueFong 在 Hugging Face 上发布基于 Qwen/Qwen-Image-2.1 原始权重的 Uncensored GGUF 量化版，用于本地图像生成。该版本移除内置安全检查器，可直接生成成人及敏感图像而不出现提示词拒答或黑图；提供 BF16 到 Q4_0 等多档量化（如 Q4_K_M 为 4.60 GB），并附配套文本编码器 qwen3vl_8b 与 VAE 文件、ComfyUI 及 ComfyUI-GGUF 的部署与低显存配置说明。
推荐理由：原文列全了各量化档位的文件体积与显存占用，还给出 ComfyUI 的部署步骤和文本编码器卸载方案，照做即可跑通本地生图。