新闻、仓库与研究，按时间排列。
snonux 在 GitHub 发布 hypr 工具，自动化 Hyperstack GPU VM 的创建、引导、WireGuard 隧道和 vLLM 推理全流程，可并行运行两台 A100 80GB VM，分别服务 Qwen3.8 27B FP8 和 Gemma 4 31B IT (AWQ-4bit)。Pi 编码智能体通过 WireGuard 隧道直连各 VM 的 vLLM OpenAI 兼容端点，无需代理；支持 model switch 热切换十余个模型预设，qwen38-27b 预设默认启用 MTP 投机解码。附双 VM 拓扑、watch 监控面板、A100 80GB VRAM 尺寸表和 A100 PCIe 上 FP8 对比 Ollama 的吞吐数据。
推荐理由：给出从 GPU VM、WireGuard 隧道到 vLLM 和 Pi 编码智能体的一条龙脚本，附各模型 VRAM 与吞吐参考数据。
IndrasMirror 发布 DeepSeek-V4.1-Flash-GSQ-Uncensored，对 dealignai 的 abliterated 检查点做校准混合量化，552B 参数 MoE 压缩至约 163 GB（152 GiB 专家权重），可在 RTX 4090 24 GB + 90 GB RAM + NVMe 的家用 PC 上运行。量化采用三档专家格式（42.8% 三值、39.2% 2-bit、18.0% 3-bit），与同尺寸均匀 Q2_0 相比输出误差低 17%；held-out 困惑度 5.645（原模型 4.915），top-1 一致率 0.674。实测 Prefill 250 tok/s、Decode 约 26 tok/s（启用 ggml patch 可达 27+）。
推荐理由：原文完整公开了混合精度量化的校准方法、逐层误差和困惑度数据，并给出在单张 RTX 4090 上复现所需的全套工具与硬件清单。
Hugging Face 上发布了 Qwen/Qwen-Image-2.1 的无审查 GGUF 量化版本，提供从 BF16（14.23 GB）到 Q4_0（4.15 GB）等多种量化文件，推荐 Q4_K_M 以平衡体积与质量。该版本移除内置安全检查器与内容过滤，可直接生成 NSFW 内容，需配合 ComfyUI 与 ComfyUI-GGUF 使用，仓库内包含 qwen3vl_8b 文本编码器和 VAE 等配套文件。采用 Qwen Research License 授权。
受 macOS 上 DigUp 启发的 VectorDash 上线，定位为 Windows 11 搜索的完整替代品，由 EmbeddingGemma 2 驱动语义搜索，支持照片、音频、视频、PDF 和 Office 文档的全文索引，可返回页码与时间戳匹配。它还提供无需 EmbeddingGemma 2 的快速文件名索引、应用启动器、可选只读 MCP server 和本地加密 SQLite 存储；测试中约 200 MB 内存即可支撑 3,500 个完全索引文件和 100 万快速索引文件。
/u/stargate425 在 SGLang 上复现了 Qwen3.8-27B 的 bit-exact 投机解码，单张 RTX PRO 6000 达 106.6 t/s，24/24 提示词的 token id 与 logprob 均与无投机解码完全一致。关键包括两处 verify 修改、DeepGEMM sm120 修复（PR #42145 及上游 PR #93），短提示词下仅比 vLLM 的非精确解码慢 3%。作者附上完整启动命令、模型版本号和三个补丁的 gist 链接。
推荐理由：作者给出让投机解码输出逐位可复现的具体补丁、启动命令和各长度下的速度对比，方便本地部署者照做。
GitHub 上线 logal-rag，一款在本地电脑上检索私有文档的 RAG 搜索工具，全程离线运行、不向外部服务器发送任何数据。它支持 Windows 10/11，需 i5/Ryzen 5 级处理器、8 GB 内存和 2 GB 磁盘空间，提供文件类型与日期筛选、关键词高亮，并可自行添加或移除索引文件夹。
GitHub 上的 local-ai-research-assistant 是一款完全在本地硬件运行的自动化研究工具，依靠 Ollama 提供智能并通过 `ollama run llama3` 加载模型，自动联网搜集信息、提取内容并生成结构化报告，可导出 PDF。要求 Windows 10/11、最低 16GB 内存（推荐 32GB）和 20GB 磁盘空间，推荐 NVIDIA GPU。工具开源免费，数据不发送到外部服务器。
open-dungeon 是一个可在 Windows 10/11 本地运行的开源 AI 文字角色扮演游戏应用，用 Ollama 生成故事文本、FLUX 生成本地图像，全程不上传数据、无需联网和账号。推荐配置为 8GB 显存的 NVIDIA GPU、16GB 内存和 20GB 磁盘空间，存档保存在本地 "Records" 文件夹中。
GitHub 新仓库 kvark/mega-image 提供基于 Meganeura 的 Qwen-Image 2.1 扩散 transformer 推理，用量化 Qwen3-VL 前端编码提示词。初始下载约 10.3 GB，默认 1024x1024 分辨率会生成 4096 个图像 token 并需较大 GPU 显存，首次跑通建议 512x512 和 1 步采样。支持断点续传、HF_HUB_CACHE 缓存复用、--offline 与 --pack-swiglu 等选项，但 VAE 解码器尚未实现，暂不能输出 PNG。
cboulanger 发布的 zotero-rag 插件为 Zotero 实现 RAG 检索增强问答，可针对文献库提问并返回带页码和文本锚点的来源引用。它支持一次部署服务整个科研团队，通过 Zotero 组成员资格和只读 API key 授权，索引 PDF、EPUB、DOCX 等多种格式，且文件不上传第三方。项目开源自托管，通过 JSON preset 可自由配置 embedding 模型与 LLM，兼容 OpenAI、Anthropic、Hugging Face、RunPod 等本地或托管端点。
mradermacher 在 Hugging Face 上发布了 smollm2-1.7b-abliterated 的 GGUF 静态量化版本。该模型暂未被任何 Inference Provider 部署，下载量未被追踪。
/u/asfbrz96 在 Strix Halo（Radeon 8060S、128 GB）上为 llama.cpp fork strix-llama.cpp 开出 rdna35-perf 分支（10 commits，仅 ROCm/HIP）。prompt processing 比 Vulkan 快 21–54%、比原版 ROCm 快 8–174%，领先幅度随上下文深度扩大；生成速度与 Vulkan 打平或落后 2–3%。作者用 KL 散度和 32k 困惑度验证输出质量不变，主要改动包括 RDNA3.5 flash attention kernel、量化 GEMM 调优、MoE 与 Gated DeltaNet 的 decode 融合。
推荐理由：作者给出三种模型在 0k 到 128k 多档深度下的完整实测表，并用 KL 散度和困惑度验证输出未变，数据可直接复现。
Reddit r/LocalLLaMA 用户发帖询问如何搭建可靠的本地模型 AI 搜索。作者称 OpenWebUI 内置的网页搜索不如 Claude 或 Gemini 那样流畅可靠，且速度常慢到让人不想用，可接受一到两分钟的等待。帖子还就 UI 集成、搜索提供商、模型选择及在注入大量搜索结果时仍能可靠输出摘要的最激进量化方案征求意见。
maximUlya 在 Hugging Face 发布 Qwen-Image-2.1 的 Uncensored GGUF 量化版本，基于上游原始权重，提供 BF16、Q4_K_M 等多种量化文件，大小从 4.15 GB 到 14.23 GB 不等，推荐 Q4_K_M（约 4.6 GB）兼顾体积与质量。该版本移除内置安全检查与内容过滤，可直接生成成人及敏感图像，不拒答也不出黑图。需配合 ComfyUI 与 ComfyUI-GGUF（leejet fork）使用，文本编码器卸载到系统内存可节省 9–17 GB VRAM，采用 Qwen Research License。
r/LocalLLaMA 网友发帖称，同一开源模型在 llama.cpp、vLLM、Ollama、SGLang 等不同推理引擎、量化方式、chat template 或 runtime 版本下行为可能不一致，升级或切换后 tool calling、结构化输出、streaming 等功能可能损坏。其询问大家如何发现这些兼容性问题，并希望有可复现的兼容性测试工具或公开的模型/量化/引擎兼容矩阵。
bowmanslayer 在 Hugging Face 发布 VeriLoop-E2-Uncensored-GGUF 模型，提供 Q4_K_M 量化版本。模型可通过 llama.cpp、vLLM、Ollama、Docker Model Runner、Lemonade 等工具在本地运行，并支持 llama serve 启动 OpenAI 兼容 API 服务器，也可接入 Pi、Hermes、OpenClaw 等 Agent。
Petyx123 在 Hugging Face 发布 abliterated 版本的 Huihui-GLM-5.3-Flash GGUF 模型，提供 UD-Q4_K_XL 量化版本。该模型为图像-文本到文本多模态模型，可在 llama.cpp、vLLM、SGLang、Ollama、LM Studio、Docker Model Runner 等多种推理框架中运行，并支持通过 OpenAI 兼容 API 进行本地部署调用。
Zewsic 在 Hugging Face 发布 edwixx/diffusiongemma-26B-A4B-it-HERETIC-Uncensored 的 NVFP4 量化版本，基于 Heretic 修改后的专家权重而非原始 Google 模型。MoE 专家与 dense MLP 采用 NVFP4（W4A4、group size 16），注意力、embeddings、router、vision tower 等保留 BF16，校准使用 ultrachat_200k 的 128 个样本、截断至 2048 token。原生存储需 Blackwell 或更新 GPU，可通过 vLLM 部署，许可证为 Apache 2.0 加 Gemma 4 条款。
Hunter174 发布面向 Godot 4.4 的 GDExtension SaLMoN，通过 llama.cpp 本地运行 GGUF 模型，提供聊天、SemIf 风格语义决策和嵌入向量三类能力，运行时无需 Python、云推理、API 密钥或网络。目前为开发预览版，需从源码构建；Windows 上 Godot 4.4.1 全新导入已通过实测，Godot 4.5+ 全新 headless 导入因上游回归暂不支持（issue #11）。异步加载与推理每节点最多 32 个未完成请求、8 个已加载模型；AVX2 测试机上 native 调优把 Qwen3-0.6B 语义演示从约 16 秒降到 2 秒以内。
推荐理由：原文给出了完整 API 契约、构建步骤与实测数字，开发者可据此评估在 Godot 4.4 本地跑 GGUF 模型的可行性。
GitHub 新仓库 Accio-Studio 是一个可在自己电脑上运行的 Web 应用，用 Krea 2 生成图像、Qwen Image Edit 2.1 编辑图像，内置便携版 ComfyUI 0.38.0 引擎，无需安装 Python、Node 或 Git。它支持创建与编辑两类任务，包括 Multi-edit（最多 9 张图）、Inpaint 和 Outpaint，可选用 Flux2 Klein 9B（约 19 GB）作为第二编辑模型。安装需约 45 GB 磁盘空间，建议 Nvidia RTX 20 系列及以上 GPU，支持本地及 Cloudflare、zrok、Tailscale 等多种连接模式。
一个为 PI-5 综合项目开发的文档问答机器人，采用 RAG（检索增强生成）架构，聚焦巴西南里奥格兰德州教育评估与市政 ICMS 税收分配框架（SAERS、IMERS、PRE、IPM）。系统通过 Sentence Transformers 生成嵌入向量并存入 ChromaDB，检索候选 28 条、重排后取 12 条、最多 14 条进入上下文，经 OpenRouter 调用 z-ai/glm-5.2:free 模型生成带来源的答案，文档更新无需重新训练模型。
GitHub 用户 krazyfencerfrog 发布 Stratum，一个房间制、第二人称交互小说的端到端生成与运行系统。
推荐理由：这个项目把叙事生成与确定性运行时分开，生成本地跑在27B级模型上，对想做LLM结构化生成流水线的读者有可借鉴的工程做法。
fumetodev 在 GitHub 开源 FumetoReaderPlus，一款 Android 漫画翻译阅读器，GPL-3.0 协议，免费无广告无账号。它检测语音气泡并用 PP-OCR 加针对漫画微调的 Hy-MT2 1.8B 模型（ONNX Runtime + llama.cpp）在设备本地完成识别与翻译，旗舰机约每页 6–16 秒，也可接 OpenRouter 或本地 OpenAI 兼容端点；译文由确定性排版引擎回填气泡内，支持连体气泡切分、编辑持久化、整卷批量翻译、翻译后 CBZ 导出，支持 CBZ/CBR/PDF/EPUB 及 Komga/Kavita 服务器，可通过 Obtainium 跟踪更新。
推荐理由：这是一个功能完整的开源漫画翻译阅读器，给出端侧 OCR 加专用翻译模型的具体方案和速度数据，方案可参考。
thehiddenone 在 GitHub 发布 Kōdo，一个把自然语言转为可运行代码的 AI 编码助手，采用多智能体 LLM 工作流，以 VS Code 扩展加本地 Python 服务器形式运行，支持 llama.cpp 下运行 GGUF 本地模型，也支持 Anthropic、OpenAI、DeepSeek、OpenRouter、AWS Bedrock 等云模型。内置约二十多个模型条目的目录、按显存与内存的硬件适配检测、可断点续传的下载管理器，以及 grammar 约束的工具调用解析等本地可靠性加固。
推荐理由：README 直言引导模式尚未完整验证、本地小模型仍逊于前沿模型，读者可以据此判断项目的真实成熟度而非宣传口径。
BeCloudReady（Databricks 注册合作伙伴）在 GitHub 开源四套动手实验仓库，涵盖 AWS 数据湖、Databricks AI/BI Genie 会话式智能体、React + FastAPI + Terraform 全栈 AWS，以及基于 vLLM 和 LiteLLM 的 LLM Ops。每个实验自带 IAM 预设权限、分步指南和示例数据，其中全栈课程含 7 章 4 个可部署项目，LLM Ops 涵盖 GPU 实例上的推理部署、Prometheus/Grafana 监控与成本追踪。项目采用 Apache License 2.0。
Reddit 用户 /u/Distinct-Pie2389 发布了自研工具 Berth，用于解决多引擎同跑一张 RTX 4090 时的 CUDA out of memory 问题。每个引擎通过 berth run 启动并向 daemon 申请显卡，高优先级引擎请求时按 llama-swap unload URL、SIGTERM、SIGKILL 顺序卸载当前占用者，并用 nvidia-smi 确认显存释放后才交接。
开源项目 berkantepli/api-qa-intelligence 上线，可将 OpenAPI 3.x 或 Swagger 2.0 的 JSON/YAML 文件或 URL 导入，自动生成可编辑的 happy-path、负面、边界、校验和安全类 QA 场景，并按 PASS、FAIL 或 ERROR 执行测试。后端采用 Python、FastAPI 与 HTTPX，AI 部分通过本地 Ollama 提供可配置模型的失败分析与填值建议，但结果仅供参考，确定性测试结果仍具权威性。敏感请求与响应证据会在 Run history 中脱敏保存。
Hugging Face 上发布了 robertbschuette/Huihui-GLM-5.3-Flash-abliterated-GGUF 模型，基于 GLM-5.3-Flash 的 abliterated 版本，提供 UD-Q4_K_XL 量化格式，支持图像-文本到文本的多模态输入。页面给出了用 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker Model Runner 等工具加载和部署的完整方法，llama.cpp 路线可启动 OpenAI 兼容的本地服务器。
balkhaisi9 发布 Qwen3.8-27B-Uncensored-Cyber 的 GGUF 量化，用真实 agent 编码会话日志构建重要性矩阵，而非通用英文语料，保留 MTP 头与视觉塔。提供 IQ4_XS（含/不含 MTP，14.96/15.38 GiB）与校准矩阵文件，配对评测显示 IQ4_XS 相对 Q5_K_M 的 PPL 代价为 +0.417%±0.187%，在单卡 V100 上端到端速度为 Q5_K_M 的 1.20x，逐字抄写保真 7/7。该仓库只做量化，无微调或行为改动，上游为 philbert440 的 abliterated 去拒绝模型。
推荐理由：作者给出基于真实agent流量的imatrix校准语料构造方法与配对评测数据，做法可复现，对低比特量化部署有可迁移价值。
Yap 是一个基于 Llama 3.2 Instruct（GGUF Q4_K_M）的本地 AI 教育助手，通过 llama.cpp 纯 CPU 推理，无需联网，面向 Debian 13。项目提供 main、lowmem、ultra-lowmem 三个配置分支，最低内存需求从约 3.5 GB 降至约 1.8 GB，默认西语并支持英语和 Mapudungun。系统采用应用与域名白名单保障安全，意图分类由 LLM 本身完成，CPU 速度约 40 tok/s。
thelogicalgate 在 Hugging Face 发布 GLM-5.3-Flash-Sushi-2bpw-Abliterated，将原版 GLM-5.3-Flash 的 EXL3 2bpw 专家与来自 abliterated 供体的 29 个 BF16 注意力输出投影组合为 Sushi 包。模型分片约 87.70 GB，仅供 Sushi v1.2.2 在 Apple Silicon 上加载，需 macOS 26.2 及以上。该实验性移植的拒绝减少与能力保留尚未经完整评估，诊断中 17*23=391，DFlash2 串行 33.283 tok/s、开启时 46.235 tok/s，draft 接受率 88.5%。
/u/human_in_the_looop 在 AMD 7900 XTX 上本地运行 Qwen3.8-Flash-Next，实测上下文上限 506,849 tokens，decode 105–160 tok/s。排查出此前回声问题源自 `preserve_thinking: true` 把先前推理反复喂回 prompt，关闭后消失；质量在 thinking 关闭时 81–84%、开启时 88–94%，深度到 256k 时 decode 下降 18%，已设为日常主力配置。
推荐理由：作者用约1.3万轮对话定位回声触发条件，并给出AMD上500k上下文的实测吞吐与质量数据，方法与配置可迁移。
一位 Reddit 用户在 r/LocalLLaMA 求助如何用 vanilla llama.cpp 跑 Qwen3.8-Flash-Next 的 IQ3_XXS 量化。Strata 可在双 RTX3060 12GB + 64GB RAM 配置上达到约 35 tps（思考）/50 tps（代码），而他只跑到 15 tps；他还遇到 tensor split 不支持该模型（报 cudaMalloc failed）、以及在 HF 上找不到 Strata 使用的 800MB mtp q2_0 drafter（仅有 3.5 倍大小的 mtp-Qwen3.8-Flash-Next-Q4_K_M.gguf）等问题。
darask0 在 Hugging Face 发布 GLM-5.3-Flash-Uncensored 的 IQ2/IQ3 混合量化版，基于 orcarouter 的 FP8 源模型转换，两个 GGUF 分片共 83.707 GiB。该版本保留全部 45 层文本主干和 42 个路由层中的 288 个专家，采用校准和 GPTQ 误差反馈，路由专家主要用 IQ2_XXS、重要下投影用 IQ3_XXS。在 RTX PRO 6000 96 GB 上实测 256 输入时 decode 91.0 tokens/s，需自建补丁版 Maya 运行时，与原版 llama.cpp、LM Studio、Ollama 的兼容性未经验证。
AI-conn 在 Hugging Face 上 fork 了 HauhauCS 基于 Zhipu AI GLM-4.7-Flash 制作的无对齐版本 GGUF，以固定副本并附带部署修复说明，推荐 20 GB 显卡使用 Q4_K_M 量化（16.89 GiB）。实测指出 Ollama 0.32.1 之前会把该 MoE 当密集模型执行（13.7 tok/s），升级到 0.32.1 后达 77.8 tok/s；默认 202,752 token 上下文会导致 prefill 约 51 秒、解码约 10 tok/s，建议 Modelfile 设 num_ctx 32768 和 num_batch 2048（25K prompt 从 665 秒降到 33 秒）。
/u/Chida82 分享在其 sf-ds4-1flash（antirez ds4 的单模型 Metal 后端分支）上流式运行 341 GB Q2 GGUF 于 128 GB M5 Max 的两个 macOS 修复。修复 F_NOCACHE 在 APFS 上 16 KB 页边界外仍部分缓存的问题后，8K prompt 后首 token 从 1.23 s 降到 0.15 s；改用轮询共享邮箱而非等待 command buffer 后 decode 再提速 5.5%-6.2%。相比上游 ds4，prefill +45% 到 +99%，decode 约 30 tok/s（2K 上下文），输出经逐位校验保持一致。
推荐理由：作者给出两个 macOS 底层修复的具体方法与前后数据，流式从 SSD 跑大模型的本地部署场景可以直接对照排查。
AI-conn 在 Hugging Face fork 了 huihui-ai 的 Huihui-Qwen3-Coder-30B-A3B-Instruct-abliterated，由 mradermacher 完成 GGUF 转换，基础模型为 Qwen3-Coder-30B-A3B-Instruct，采用 Apache-2.0 许可。该 MoE 模型总参数 30B、每 token 激活约 3B，但全部专家权重需常驻 VRAM；20 GB 显卡推荐 17.28 GiB 的 i1-Q4_K_M 文件。社区实测基础模型在 HumanEval Pro 得分 60.4%，目前尚无任何 abliterated 版本的独立编程评测。
开发者发布 little-gemma V1.0 引擎的 Fork 版本，将 exllamav3 移植到 Jetson Orin Nano Super 8GB 上运行 Gemma E4B。相比穷尽 GGUF 优化后的 llama.cpp，EXL3 方案 prefill 速度更快，虽解码速率有所下降，但语音对话整体延迟更低。作者已公开 Fork 与权重，但提醒该方案并非适合所有人。
shefowl 发布 Qwen3.8-Flash-Next 的 abliterated GSQ-RCO GGUF 剪枝版，每层保留 512 个路由专家中的 352 个，未重量化或重训，基于 IST-DASLab 的 RCO 专家搜索。在 RTX 4050 6GB 加 16GB 内存的笔记本上以 Strata 0.1.42 达到 10.8 tokens/s，全量 512 专家版为 9.0；代价是事实问答 NQ-open 得分 28.4%（全量 33.1%），greedy 代码答案循环次数明显增多。与 dense Qwen3.8-27B 在事实和代码上打平；相比专注代码的 ISTA Coder 速度更快且可在代码外使用。文件共约 56.5 GB，附带 Strata 运行配置和专家档位文件。
推荐理由：原文给出完整速度与基准对照数据，读者可以直接判断这版 352 专家剪枝文件在自己的显存预算下值不值得用。
abassign 在 GitHub 发布 sdcpp-studio，一个基于 stable-diffusion.cpp 的本地私有图像生成工作室，支持文生图、图生图、本地 VLM 图像分析、带蒙版编辑器的局部重绘和 agentic 精修循环，支持 AMD ROCm 与 NVIDIA CUDA，不调用云端。支持 FLUX.1、FLUX.2、Z-Image、Ideogram 4、Qwen-Image-Edit、SD/SDXL 等模型族及 LoRA；模型权重不随仓库分发，按需下载，demo 预设约需 8 GB 显存，FLUX/Ideogram 建议 24 GB。代码采用 PolyForm Noncommercial License 1.0.0，仅限非商业使用。