新闻、仓库与研究，按时间排列。
GitHub 仓库 agentenv/yeto 发布，支持用 spot 实例、混合区域、混合云甚至混合硬件家族跨便宜 GPU 算力微调语言和扩散模型。基于 Decoupled DiLoCo 异步同步，省略 --gpu 时由求解器在预算内最大化有效 TFLOPs，支持 QLoRA、Diffusers、Megatron-Core、MLX 和 Ascend NPU 后端，附 DeepSeek-V4-Flash、Qwen3.6-27B、GLM-5.2 等已实测模型及最小岛显存表。
推荐理由：原文给出了完整的跨云 spot GPU 微调工具用法和已实测模型清单，读者可以直接复用其预算规划与异构算力训练方法。
InternVL3.5-4B-NPU 是一款运行在 RK3588 NPU 上的图像转文字应用。系统要求为 Linux 系统、至少 4 GB 内存和 500 MB 存储空间，支持 JPEG、PNG、BMP 等多种图像格式。用户可通过 GitHub Releases 下载，上传图片后点击 Convert 即可获取文字结果并保存为文本文件。
KENIC-1 在 Hugging Face 发布 Qwen3.8-Flash-Next GSQ-RCO 的 abliterated GGUF 版本，采用字节级张量移植，将全部 48 层中的 144 个 write-to-residual-stream 投影张量替换为 orcarouter 消融权重，不重算任何 GSQ 学到的量化值。四个量化档位（IQ3_S / IQ3_XXS / IQ2_XS / Q2_0）保持上游逐张量类型分配不变，体积仅比上游多 0.25–0.44 GB；1223 个张量经逐张量 blake2b 核验，144 个目标全部改变、1079 个非目标逐字节一致，行为抽查显示上游拒答的提示词此版可详尽回答。
推荐理由：原文给出了逐张量的移植方法与blake2b核验数据，读者可以确切看到哪些张量被改、代价多大。
Maxritz 在 GitHub 发布 KRAKEN，一个用 C++17 编写、直接构建在 ROCm HIP SDK 上的 GGUF 推理引擎，针对 Windows 11 和 Linux 上的 AMD RDNA 显卡，不依赖 PyTorch、hipBLAS 或 MIOpen，所有内核直接针对 ISA 编写。权重在 VRAM 中全程保持量化状态不反量化，7B Q4_K_M 模型仅占 4.4 GB；MoE 专家按 LFU with aging 策略按需分页，支持 --expert-warm-mb 二级页锁定内存。
推荐理由：原文不仅介绍工具，还给出 RX 9070 XT 上 8B Q4_K_M 达到带宽上限约 76% 的量化瓶颈拆解，可了解 AMD 本地推理的优化路径。
ENTITY 的公开网站在 GitHub Pages 上线，展示这个面向 Arm Android 手机的端侧离线 LLM 运行时，包含优化原理动画讲解、基于贡献基准数据集的实时设备排行榜及证据与证伪记录。站点用 Astro + Tailwind v4 构建，静态输出，图表 JavaScript 压缩后不足 10 KB。v1.2.0 修复了 Supabase 行级安全缺少 select 策略导致排行榜只显示快照的问题，并重新核对了页面上的数据。
Tylogi 在 GitHub 开源 MFQ（TyloQuant），一套结合 SQ/VQ 格式与细粒度混合精度校准的量化与 CUDA/Metal 推理基础设施，采用 Apache 2.0 许可。项目演示在 512 GB Apple M3 Ultra 上直接以 raw-HF Safetensors 运行 476 GB 的 DeepSeek V4.1 Flash，batch size 1、32,768 上下文下 TG 为 18.29 tok/s，启用高接受率 MTP 后达 33.46 tok/s（+83.0%）。
推荐理由：开源量化与推理工具，给出固定评测协议下与 Unsloth Dynamic 基线的 KLD 对比和 Apple silicon 实测吞吐，方法可复现。
kadirnar 在 GitHub 发布 kernel-agent，输入 Hugging Face 模型 URL 后自动分析 GPU 瓶颈，由 Claude 用 CUDA C++、CuTe DSL、Triton 或 TileLang 编写自定义 kernel，并尝试 static caches、CUDA graphs 等模型级优化，候选方案需通过正确性校验与基准测试，仅保留输出一致且更快者。支持 LLM、STT、TTS 和扩散模型，内置 VoxCPM2 工作负载（案例测得 11.3× vs eager、7.7× vs torch.compile），图中 Qwen3-0.6B 实测 2.03×（1,532.4→754.9 ms）。
推荐理由：这个项目把正确性验证讲得很细，读者可以借此了解自动生成 GPU kernel 时如何防作弊和保证输出一致。
作者在约 16 GB 内存、无独立 GPU 的本机上对 Qwen2.5-0.5B-Instruct 做 4-bit QLoRA SFT/DPO，完成中文结构化抽取与意图分类实验，数据采用 MASSIVE 中文子集。v6 混合系统严格实体 F1 为 62.59%，首次达到预设绝对 F1 ≥60% 门槛，但相对旧 v5 混合的配对 95% 区间为 −3.58 至 +7.19，未通过相对收益门槛；v3 DPO 将无槽失败从 126/167 降至 28/167 但阳性句 F1 下降。仓库公开复现命令、选择锁与失败报告，不含权重和逐题预测，结果定位为后训练研究而非可自动上线服务。
推荐理由：作者在 16 GB 无 GPU 本机上完整跑通 QLoRA SFT/DPO 并公开预设门槛、配对区间和失败记录，方法与边界都可复用。
burningfeet 发布基于 HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 的 Genesis Hermes GGUF 模型，基础模型 refusal 记录为 0/465。该模型总参数 35B，每次前向激活约 3B（MoE，256 专家、8 路由 + 1 共享），采用 Gated DeltaNet 线性注意力与全 softmax 混合架构（3:1），40 层，原生 262K 上下文（YaRN 可扩展至 1M），本地多模态。作者使用 Genesis 后训练算法通过 Marchenko–Pastur 定律修复 tensor 中的训练噪声，不涉及训练或微调。
Elyan Labs 的 Scott Boudreaux 发布 PSE，一种在 IBM POWER8 S824 上用 vcipher AES 指令做 O(1) 预过滤、vec_perm 做 Hebbian 坍缩的注意力机制，替换标准全矩阵点积。该方案集成进 llama.cpp 的 Flash Attention，只对 top 25% K-V 对计算完整点积。TinyLlama 1.1B 在 pp128 达到 147.54 t/s，相比 stock llama.cpp 的 16.74 t/s 实现 8.81x 加速；GPT-OSS 120B MXFP4 达 13.71 t/s。
llama.cpp 合并请求通过为每个 warp 分配四个 GDN state 列，带来 Qwen 3.x 的 prompt 处理提速：pp512 从 3075.24 t/s 提升到 3243.60 t/s（+5.5%），pp4096 提升 +5.3%，而 tg128 仅 +0.1%，文本生成速度基本不变。
社区版 Gemma 4 E2B Uncensored-MAX 已转换为 .litertlm 格式，可在 Android、Pixel 及 Tensor / Mali 设备上完全离线运行。模型为 INT4 量化，有效参数 2.3B（含 PLE 总参数 5.1B），支持 32,768 token 上下文，仅保留文本能力，体积 2.37 GB。可通过 Google AI Edge Gallery 或 LiteRT-LM CLI 加载，采用 Apache 2.0 许可证。
用户 k8scert 在 Hugging Face 发布 abliterated 版模型 Qwen3.8-27B-ABLITERATED-Q8_0，采用 Q8_0 量化。页面给出通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具运行该模型的命令，并附 Pi、Hermes Agent、OpenClaw 等接入本地 llama.cpp 服务器的配置示例。
ScottzillaSystems 在 Hugging Face 发布 Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF，通过对已量化 GGUF 做字节级张量直移，替换全部 48 层中 144 个写入残差流投影张量以移除拒答方向，不重算任何 GSQ 学到的量化值。IQ3_S 构建经逐张量 blake2b 校验，144 个目标全部替换、其余 1079 个张量字节一致；相比上游文件仅增大 0.25-0.44 GB，Strata 引擎实测 decode 104.4 tok/s 与上游持平。行为抽查显示上游拒答的付费墙绕过提问该版本会详细回答，作者同时提醒该模型无内置安全护栏，部署需自备审核与访问控制。
burningfeet 在 Hugging Face 发布 Qwen3.6-35B-A3B-Uncensored-Genesis-Final 的 GGUF 版本，基于 HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive，拒答数为 0/465。该模型经 Genesis 张量修复处理，基于 Marchenko–Pastur 分布做自定义 SVD 降噪，不改变已学知识。模型总参数 35B，每次前向激活约 3B（MoE，256 专家、每 token 8 路由+1 共享），原生 262K 上下文（YaRN 可扩展至 1M），兼容 llama.cpp、LM Studio 等 GGUF 运行时。
GitHub 仓库 jimoto-no-llm/bench-of-us 汇总了社区自 2026-09-20 至 10-08 的多组本地推理实测。覆盖 Tesla V100、T4、P40、P100、RTX 3090/5090、Radeon 等单卡与多卡拆分（layer/tensor split、NVLink、NCCL、vLLM TP=2、sglang+KTransformers）配置，测试对象包括 Qwen3.8 27B、Qwen3.8 Flash Next、Nemotron 3 Nano Omni 33B、Gemma 4 26B A4B QAT、DeepSeek V4.1-Flash 等，上下文从 8K 到 262k 乃至 1M。
作者公开了 llm-inference-lab 仓库，做基于 llama.cpp 的端到端推理部署、性能分析与优化，固定基线为 Qwen3-4B / Q4_K_M、单卡 RTX 3090 24G（恒源云 ¥0.98/h）。仓库提供一键环境准备、llama-bench 基准矩阵、SSE 服务压测（TTFT/TPOT）等脚本与 runbook、实验纪律文档，当前 M0 基线尚未跑完，nsys 可用而 ncu counters 受宿主限制无法使用。
作者发布了 local-llm-gateway 仓库，用 Docker 把本机已下载的 qwen2.5:7b-instruct-q4_K_M 和 qwen2.5-coder:14b 两个 Ollama 模型暴露为 OpenAI 兼容 API（http://localhost:11434/v1）和聊天 UI，聊天历史存于 Postgres。两个模型合计约需 21GB VRAM，16GB 显卡只能一次加载一个，切换需约 60-90 秒；默认开启 OLLAMA_FLASH_ATTENTION=1 和 OLLAMA_KEEP_ALIVE=-1 以避免停顿 5 分钟后的重复加载。
推荐理由：作者把本机已有的 Ollama 模型封装成 Docker 化本地 API 和聊天界面，并写清了模型切换和慢响应的真实原因。
基于 Gemma-3 4B it 微调的无审查模型 Gemma-3-Uncensored_v2-gguf 发布，用 Unsloth 微调并转换为 GGUF 格式，提供 gemma-3-4b-it.Q4_K_M.gguf 和 F16-mmproj 文件，可用 llama-cli 或 llama-mtmd-cli 运行。模型调整了 BOS token 以兼容 GGUF，训练速度提升 2 倍；Ollama 暂不支持单独的 mmproj 视觉文件，需通过 Modelfile 创建统一的 bf16 模型使用。
popcatwhu 在 GitHub 开源 chest-evidence-agent，一个结合病史和胸片生成候选诊断报告的本地 Agent，使用 Lingshu、LangGraph 和 FastAPI，报告保留支持依据、反对依据、资料来源和执行记录。默认本地运行 Lingshu-32B NF4，也支持 7B 模型和 OpenAI 兼容接口，测试硬件为 RTX 5090 32 GB。在 20 位独立公开测试患者上，选择题结论答对 15/20，报告完成 20/20，耗时中位数 58.25 秒，GPU 峰值保留显存 21.62 GiB；18 份报告被标记为仍需复核，存在结核误判等问题，项目未经临床验证，代码使用 MIT 许可。
推荐理由：项目给出在20例公开患者上的完整评测数据和已知误判问题，读者可以自行判断这个本地诊断Agent的可用边界。
一位 r/LocalLLaMA 用户用 llama.cpp 0.6.0 和 bartowski 的 Q4_K_M 量化版 Cloudflare Clef 模型测试客服工单分类示例，refund 的 noul 值仅 0.57，team 分类 confidence 只有 0.51。换用 Jev 测试时 noul 达 0.99，作者因此质疑该量化版本效果，并询问其他用户的体验。
abliterated 版 GGUF 模型 Huihui-Qwen3.8-Flash-Next-abliterated-MTP-GGUF 现已上架 Hugging Face，支持 image-text-to-text 多模态输入。页面给出 Transformers、llama.cpp（UD-Q4_K_XL 量化）、vLLM、SGLang、Ollama、Docker Model Runner 等多种本地运行与 OpenAI 兼容 API 部署方式，llama.cpp、Ollama 等均可直接拉取运行。
mradermacher 在 Hugging Face 上提供 Qwen2.5-0.5B-Instruct-3MPER0RR-abliterated 模型的 GGUF 量化版本，包含 imatrix 量化及约 0.1GB 的 imatrix 文件供用户自行创建量化。静态量化版本另行提供，使用方法可参考 TheBloke 的 README 说明。作者感谢 nethype GmbH 提供服务器及 @nicoboss 提供私有超算支持。
Blackfrost 发布了 Qwen3.8-27B 的 abliterated 版本 GGUF 量化包，权重级降低拒绝行为，附完整 K-quant 阶梯（Q2_K 至 Q8_0）和视觉投影文件。450例拒绝基准（150 AdvBench、150 StrongREJECT、150 XSTest）经人工复核后残留11例真拒绝，占2.4%；W4A4 NVFP4 衍生版的 WikiText-2 词困惑度为9.3677，上游 BF16 为8.4764。每个主量化内嵌 MTP 投机头，可单文件在 llama.cpp 运行；可选 BF16 DFlash2 sidecar 在 RTX PRO 6000 上配 Q4_K_M 达到109.31 tok/s 中位解码速度，需固定实验性 llama.cpp 实现。
推荐理由：原文给出450例拒绝基准的分阶段残留数据和量化档位清单，读者可据此判断该去对齐版本的拒绝率与部署成本。
作者开源了 LLM-Inference-Engine 项目，在单张 A10G 上从零构建 Qwen3-8B 推理引擎，容量较朴素服务提升 17.2 倍（0.33 到 5.70 req/s），p95 首 token 延迟从 25.1 秒降到 336 毫秒。项目先写预测再实测，约三分之一预测出错；核心发现是每个优化没有固定加速比，同一量化标记在短请求上值 1.07 倍、长请求上值 2.35 倍，prefix cache 在唯一提示上无收益、对话中达 35 倍，并用 Nsight 定位与 vLLM 的 6 毫秒差距主要来自 2,079 次未融合的 kernel 启动。
推荐理由：作者把每个优化都给出预测、实测和误差解释，量化或缓存的收益取决于工作负载这一点有对照数据支撑，方法可直接迁移到自己的推理项目。
Reddit r/LocalLLaMA 用户对比测试了 Qwen Flash 的 Q2_0 与 IQ2_XS GSQ-RCO 两种量化版本在旧笔记本上的表现。结果显示 IQ2_XS 更好地保留了世界知识，但比 Q2_0 更容易出现循环输出，尤其在关闭思考模式时；IQ3 则严重拖慢 prefill。两者在基准测试中各有优势领域，作者邀请其他用户分享使用体验。
huihui-ai 基于 Aleph-Alpha/Kolibri-1-BF16 制作了 abliterated 去审查版本，全程使用 llama.cpp 处理 GGUF 完成，并重新量化上传了 Q2 至 Q8 及 BF16 共多个量化版本。模型需对 llama.cpp（commit 836d571）打 kolibri1 补丁才能运行，且 abliteration 未修改全部专家模块。由于安全过滤大幅削弱，仅建议用于研究与受控环境。
mradermacher 在 Hugging Face 发布 Qwen2.5-0.5B-Instruct-3MPER0RR-abliterated 的 GGUF 静态量化版本，提供从 Q2_K 到 f16 共 12 种规格，体积介于 0.4-1.1 GB，其中 Q4_K_S/Q4_K_M 被标注为快速且推荐，Q8_0 为最佳质量。weighted/imatrix 量化暂不可用，用户可通过 Community Discussion 提出请求。
mradermacher 在 Hugging Face 发布 Qwen3-06B-3MPER0RR-abliterated 模型的静态 GGUF 量化版本，提供从 Q2_K（0.4 GB）到 f16（1.3 GB）共 13 种量化类型。其中 Q4_K_S、Q4_K_M 标注为快速且推荐，Q6_K 质量很好，Q8_0 快速且质量最佳。加权/imatrix 量化版本可在其模型页面获取，使用方法可参考 TheBloke 的 README。
Hugging Face 上发布了 mradermacher/Qwen3-06B-3MPER0RR-abliterated-i1-GGUF 量化模型。该仓库为 GGUF 格式，模型约 287k 参数，仓库卡片缺少 YAML 元数据。
huihui-ai 在 Hugging Face 上发布 Huihui-Qwen3.8-Flash-Next-abliterated-GGUF，这是用 abliteration 技术移除拒绝行为的 Qwen/Qwen3.8-Flash-Next 无审查版本。GGUF 文件来自 unsloth 系列，支持最新 llama.cpp 和 Strata，可用 llama-cli 加载，上下文设为 -c 262144。发布方提醒该模型安全过滤已大幅削弱，仅建议用于研究、测试或受控环境，使用后果由用户自行负责。
开发者发布 Python 量化库 Octuma（前身为 TinyQ），用 GPTQ+AWQ、每组 32 权重把模型量化到 INT4/INT8，可导出 GGUF（Q4_1）供 llama.cpp 和 Android 使用，Qwen2.5-3B 从 6.18 GB 压到 2.40 GB、质量损失 2.4%。作者给出同引擎对比：在 3B 上质量损失仅为 Q4_K_M 的约 1/2.6，但文件大 24%-33%，且 0.5B 上 Q4_K_M 更优；也注明 PyTorch 内不加速（4.2 tok/s 对 14.4）、未与 AutoGPTQ 对比、GGUF 导出仅支持 llama/qwen2/mistral/gemma 四种架构。
推荐理由：作者用同一引擎和语料把自家的 INT4 与 llama.cpp、bitsandbytes 实测对比，还写清了局限，适合想本地量化的读者参考。
Xeldia 在 Hugging Face 发布 Qwen3.8-27B-ABLITERATED 的 GGUF 版本，提供 Q2_K 到 Q8_0 全部标准 K-quant 及视觉投影器，由 Blackfrost-AI 的 BF16 去对齐权重转换而来，保留 262,144 token 上下文和原生 MTP 投机头。发布页给出 R1-HARMFUL-BENCH-450 拒绝基准：经三阶段筛选后残余 11 例真拒绝（2.4%），并附 WikiText-2 困惑度对比与 DFlash2 投机解码实测中位 109.31 tok/s；DFlash2 路径需固定 llama.cpp PR #27342 实现。
同一新闻，精选展示《Blackfrost 发布 Qwen3.8-27B-ABLITERATED GGUF 量化版，残留拒绝率2.4%》
huihui-ai 发布 Aleph-Alpha/Kolibri-1 的去审查（abliterated）GGUF 版本，完全基于 llama.cpp 对 GGUF 模型完成消融，未修改全部专家模块。原版 llama.cpp 尚不支持 kolibri1 架构，需在 upstream commit 836d571 上应用仓库附带的 kolibri1-llama.cpp.patch 补丁并编译。模型仅建议用于研究与受控环境，用户需自行承担法律与伦理责任。
作者用 469 题领域评测对比多个 Qwen3.8-27B 微调模型，mradermacher/Signal-3.8-27B-Terse-Coder.i1-Q4_K_M 在准确率、token 用量和完成时间上最优，仅 1 次超限。Opus 5.5 以 99.6% 准确率居首，但本地模型比前沿模型慢 28 倍（19 分钟 vs 9 小时），换取约 100% 的隐私。gpt-oss-120b 在 pandas/numpy 任务上表现糟糕，评测工具已开源。
kr4ckhe4d 在 GitHub 公布消费级 AMD GPU 上的本地大模型实测数据，硬件为 RX 9070 XT 16GB 与 Radeon AI PRO R9700 32GB（均为 RDNA4/gfx1201），在 Linux 下用 ROCm 7.2 与 llama.cpp b11434 测得。双卡后 MoE 预设去掉 CPU offload，生成速度提升 38-183%；Qwen3.8-27B UD-Q6_K + MTP 达 57 tok/s、KLD 0.0020，并在 Claude Code 中与 Q8_0 相当且快 12%；Gemma 4 26B-A4B + MTP 在 128K 上下文下达 143 tok/s。
推荐理由：作者在消费级 AMD 双卡上实测多款本地模型，给出吞吐、量化 KLD、投机解码和编码 Agent 的第一手可复现数据。
QCATS 是一个查询上下文感知的 Transformer 切片框架，利用查询谓词和元数据统计在模型执行前预选上下文对齐的 FFN 切片，实现数据库内高效稀疏推理。框架包含离线专家构建和轻量查询级路由，并引入异步 CPU-GPU 流水线与路由感知批处理等系统优化。在 BERT-base 和 Qwen-0.6B 的四项预测查询工作负载上，QCATS 延迟最多降低 4.42x，预测精度与稠密基线相当。
开源项目 campus-course-kb 基于 FastAPI + LangChain + Chroma + DeepSeek 构建校园课程 RAG 智能问答后端，支持课程学分、先修课等自然语言提问。系统经意图分类走 FAQ 快路径或向量检索，FAQ 命中链路内 0.4 ms，实测比走 RAG 快约 5 倍；相关性不达标直接拒答，答案附课程编号、来源文件、章节等可追溯出处。项目内置 30 条评测集与 Recall@3/5/10 指标、Docker 部署及 GitHub Actions CI/CD，定位为作品集 / 课程设计项目。
研究者提出 EncBank，把预训练 LLM 的低层视为可复用的文档编码器并紧凑存储其输出，供适配后的上层读取器使用，且各存储精度共享自蒸馏 suffix adapter、无需针对量化重训。在三个不同规模的 Qwen 骨干上的五个 benchmark 套件中，4-bit 存储与原生精度 EncBank 各项 aggregate 差距在一个分数点内；在固定 Qwen3-8B 负载下仅保留 28.1% 的原生精度 GPU 常驻存储，并实现 1.40x prefill 加速（RULER 准确率损失 3.12 分），原生精度 Qwen3.8-27B 还通过 Terminal-Bench 2.1 的 89 项任务中的 70 项。
LocalAI-Lab 是一个在消费级硬件上搭建、运行和评测本地 AI 服务器的工程项目，聚焦 AI 辅助编程与学术研究/RAG 两类负载。编码栈采用 OpenCode + Qwen3-Coder-30B-A3B-Instruct，Q3_K_M 基准生成吞吐约 69.1 tok/s；学术栈用 Qwen3-30B-A3B-Instruct-2507 完成 24 篇论文的形式化筛选实验，两次运行均实现 8.3% 阅读量缩减并 100% 保留相关论文，全部运行记录与 SHA-256 指纹归档于 Git 以支持可复现性。