新闻、仓库与研究，按时间排列。
作者开源了一个用 QLoRA 在 CUAD（510 份商业合同、35 类条款）上微调 Qwen2.5-7B-Instruct 的项目，覆盖条款分类和有依据的条款问答两项任务，LoRA 适配器（165 MB）已上传 Hugging Face（PimoLee5/qwen2.5-7b-cuad-qlora）。
推荐理由：原文给出基座、3-shot 与微调三组对照的完整指标，并人工审计幻觉标记，可看清微调带来的召回与校准收益及其代价。
Avi Fenesh 在 tiyuvta 实验室发布 memra，一个从零编写的 Rust + CUDA LLM 推理引擎，针对 RTX PRO 6000、RTX 5090 和 B200 调优，提供 OpenAI 兼容服务与 NVFP4/fp8 混合量化支持。
sergeiredkin 在 GitHub 开源 LLM-internals 教育项目，用隔离的 PyTorch 演示讲解 LLM 核心机制并组装成可运行的 decoder-only 模型。
ggml-org/llama.cpp 收到编号 #29869 的 Pull Request，为 Metal 后端加入 few-row MMA matmul 与批量拷贝以加速推测解码。
推荐理由：原文给出了同一环境下 PR 前后 DFlash2 推测解码的 decode tok/s 对照，读者可以据此评估该 Metal 优化在不同任务下的实际收益。
作者在 AMD 7950X（4x 双通道 DDR5-5600，128GB）上把内存从 3600MHz 超到 4800MHz，带宽提升 36%，在 Intel B70（32GB）的 llama.cpp 定制 SYCL 后端上跑放不进显存的 MoE 模型获得小幅提升：PP 约增 10%、TG 约增 5%，且上下文越深收益越大，pp2048 @ d8192 提升 14.0%。
推荐理由：作者给出了 DDR5 超频前后各档上下文的 PP/TG 实测数据，读者可据此估算自己 MoE 本地部署能从内存超频拿到多少收益。
基于 Qwen/Qwen3.6-27B 的去审查（abliterated）版本已在 Hugging Face 上发布，采用 AWQ 量化并支持 MTP 投机解码。在单张 A800 80GB 上配合 vLLM 0.21.0、MTP 与 fp8 KV cache 可达 110+ tok/s，支持 65536 上下文长度。该模型大幅削减安全过滤，建议仅用于研究或受控环境。
Sunil Mehta 开源了 llm-inference-platform，在 Apple Silicon Mac 上通过 vLLM-Metal 原生运行 LLM 推理，并提供 FastAPI 网关、Prometheus/Grafana 监控和可复现基准脚本。
推荐理由：开源项目在 Apple Silicon 上用 vLLM-Metal 原生跑模型推理，并配套可观测网关和可复现基准，适合想本地部署 LLM 服务的读者参考。
mxxm-t 在 GitHub 开源了 llmx，一个无依赖的 C++17 LLM 推理运行时，可命令行运行或作为 OpenAI 兼容服务器，支持单机多设备跑同一模型。
推荐理由：README 明确列出了已支持与计划中的模型、量化类型、后端和多设备模式，读者可据此判断该 CPU/Vulkan 推理运行时是否覆盖自己的硬件。
Hugging Face 上线 Qwen/Qwen-Image-2.1 的 Uncensored GGUF 量化版本，提供 BF16、FP8、Q4_K_M 等多种格式，文件大小从 4.15 GB 到 14.23 GB 不等，推荐 Q4_K_M 以平衡体积与质量。
BoldingBuilds 发布 BAAI AREX-2（基于 Qwen3.8 的 27B agent 微调）的去对齐 GGUF 版本，将拒绝方向从 64 个权重张量（第 8-39 块）投影移除。
推荐理由：作者给出了拒绝率、工具调用和 KL 位移的实测数据，可以据此判断这次去对齐改动到底动了什么、代价多大。
VirtualV LLM 是一套硬件感知的本地模型评测套件，针对 GGUF/llama.cpp 和 1Cat-vLLM 负载在异构 GPU 池上测量质量、吞吐、硬件拓扑与来源信息，失败结果显式呈现而非生成虚构分数。
AryenP 在 GitHub 开源了一个自托管 LLM 推理平台，用 vLLM 部署 Qwen3-8B，FastAPI 网关后接 PostgreSQL + pgvector 混合检索，覆盖约 1 万篇 arXiv 摘要（11,991 个 chunk），并用 CLI 评测工具在指标回退时以非零退出码拦截发布。
推荐理由：作者给出 BF16 与 AWQ 在不同并发下的实测延迟和成本数据，并解释了延迟与吞吐为何必须分开测量的方法。
Unsloth 推出首个可在桌面端运行和训练模型的 Unsloth Desktop 应用，覆盖 Windows、macOS、Linux 和 WSL，支持 NVIDIA、AMD、Intel GPU、CPU 及 Vulkan 后端。可运行和微调 Qwen3.8、GLM-5.3-Flash、Kimi K3、DeepSeek-V4、Gemma 4 等 LLM、扩散、嵌入和音频模型，微调速度提升 2 倍、VRAM 减少 70%；通过 unsloth start 一条命令把本地模型接入 Claude Code、Codex 等 Agent，并提供 OpenAI 兼容 API、RAG、Cloudflare HTTPS 远程访问和 Docker 镜像。项目采用 Apache 2.0 与 AGPL-3.0 双许可。
一篇 arXiv 论文（arXiv:2610.06479，EMNLP 2026 主会）提出 Behavior-Preserving KV Cache Compression，一种免训练的 KV cache 压缩框架。
作者将开源 TTS 模型 Kokoro-82M 蒸馏为 8.07M 参数的单音色模型 Paradee，参数量减少 10 倍、计算量减少 15 倍。方法先用教师模型合成语料并保留时长、音高、能量和音素特征，分别训练文本侧与解码器后拼接，并量化为 int8；int8 版本仅 8.5 MB，单 CPU 线程下 25 倍实时速度，UTMOS 得分 4.41（教师为 4.52）。
推荐理由：论文给出了蒸馏各阶段、UTMOS 对比和相位问题的排查过程，方法无需对齐学习，可在单 CPU 上复现部署。
Magnarks 在 Hugging Face 上发布基于 google/gemma-4-12B-it 的 abliterated 去审查微调模型 gemma-4-12B-it-abliterated-uncensored-nvfp4，采用 nvfp4 量化。
retronym 开源 mlx-lm-setup，在 localhost:8090 部署一个网关，按需在 Apple silicon 上以 MLX 启动开放权重模型、空闲时卸载，并把内存控制在 28 GB 预算内，数据不出本机。
推荐理由：作者给出了各模型的内存占用、加载策略和选型实测数据，读者可以据此评估在单台 Mac 上跑多模型本地网关的可行性。
Nib 是一款 macOS 本地优先的语法与写作助手，通过 Accessibility API 监控任意应用中的文本框，结合 Harper 规则引擎与本地 LLM 提供点击纠错和整句 AI 改写，100% 端侧运行、无网络请求、无需账号。
推荐理由：原文给出各档本地模型的实测分数与逐应用兼容策略，可对照评估纯离线写作助手的可行方案。
lergah 在 GitHub 开源 qwen36-27b-single-3090 项目，提供优化推理配置，使 Qwen3.6-27B 模型可在单张 RTX 3090 GPU 上运行。相关活跃开发与更新配置见 club-3090 仓库。
midagedev 发布 bloomery 0.2.1，一个用 Rust 从 HTTP 服务器写到 CUDA kernel 的 MoE 推理引擎，兼容 llama-server 的 HTTP API 与 GGUF 文件，OpenAI 客户端无需改动。
推荐理由：原文给出了各模型在具体硬件上的实测吞吐和与 llama.cpp 等引擎的同卡对比，读者可据此评估这套 MoE offload 方案是否适合自己的配置。
TensorRT-LLM 通过专用 kernel、高效运行时和 Python 框架优化 LLM 与视觉生成模型的推理，现已完全开源并迁移至 GitHub。
arXiv 论文发现，长时运行 Agent 在滚动更新文档窗口时，非前缀 KV-cache 复用具有历史敏感性：相同提示词可能因此前处理的请求顺序不同而产生不同答案。
arXiv 论文 2610.05685 提出 BreadthKV，研究长链式推理（CoT）解码时在固定内存预算下如何分配 KV 缓存的 token 数量与精度。
推荐理由：论文用 60 题端到端校准决定位宽分配，并给出 AIME 上 91% 对 40% 的触顶率对比，方法与数据都可复现。
Rapid-MLX 是基于 MLX 的开源（Apache 2.0）LLM 推理服务器，兼容 OpenAI 和 Anthropic API，主打编码智能体所需的可靠工具调用。
GitHub 上的 dialect-gap-arabic 仓库目前处于 Phase 0 骨架阶段，尚无结果。
一位已下单 M5 Max Mac Studio 128GB（18 核 CPU/40 核 GPU、1TB SSD）的用户发帖征集该配置的真实本地 LLM 使用数据。
Reddit r/LocalLLaMA 用户发布针对 96GB Mac Studio（M5 Ultra）调校的 UkisAI Swift 1.5 MLX 量化包，约 107GB 下载、纯文本、实测 179,200-token 上下文。
作者在 RX 580 8GB 上用 Mesa RADV 的 Vulkan 路线绕开已放弃 Polaris 的 ROCm，通过 OpenAI 兼容路由在单卡上运行 qwen2.5-coder 1.5B/7B。
推荐理由：作者用 Vulkan 绕开 ROCm 对 Polaris 的放弃，在 RX 580 8GB 上跑通多模型并给出完整实测数据，方法可迁移到同类老卡。
mattx86 在 GitHub 发布 rustllama，一个 Rust 编写的 LLM 推理运行时，支持系统内存与显存混合卸载、OpenAI 兼容 HTTP 服务、CLI 和原生 egui GUI，全部打包为单一二进制，不依赖 llama.cpp。
sgaofen 在 GitHub 发布 humanizer 12B v2，一个基于 google/gemma-4-12B 微调的本地文本补全模型，可将英文和中文的 AI 稿件（邮件、论文、报告、论坛帖等）改写得更像人写，训练全程未使用 AI 检测器。
alexwkleung 开源了 Reika，一个面向本地与托管模型的 coding agent CLI，专为 8B–35B、Q2–Q4 量化、16–32k 上下文窗口的小本地模型设计，兼容 llama.cpp、MLX、vLLM 或云端 API。
推荐理由：作者用实测数据说明 harness 层面对小模型的实际作用边界，比如上下文重写与追加的成本差异，方法可迁移到本地部署场景。
ASB 是一个开源基准（MIT 许可），用于测量 LLM 情绪引导干预在真实部署压力下的稳定性，可在单张 6 GB GPU 上完整复现。
开源项目 long-horizon-cpu-llm 让用户无需 GPU、在普通 x64 CPU 上运行长上下文大语言模型，支持 GGUF 和 Hugging Face Transformers 格式，并提供基于 Streamlit 的可视化界面。
Nylonek 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的 Uncensored GGUF 量化版本，提供 BF16、FP8、Q8_0、Q6_K、Q4_K_M 等多种格式，文件大小从 4.15 GB 到 14.23 GB 不等，推荐兼顾体积与质量的 Q4_K_M。
Brunobkr 在 Hugging Face 发布 OFFFELLIA_Nemotron-3.5-Lightning-30B-A3B-Heretic-Uncensored 的 GGUF 版本。
apocryphx 发布 Apertura，一个用 Objective-C++ 基于 MLX 从零重建的 Google Gemma-4 推理引擎，可在 Apple Silicon Mac 上完全本地运行 Gemma-4 全部文本系列模型，推理时不依赖 Python 和云端。
推荐理由：原文给出了与 PyTorch 参考实现逐算子对齐的实测数据，以及与 llama.cpp 的吞吐对比，可据此评估这个本地推理重建的忠实度。
vLLM 是源自 UC Berkeley Sky Computing Lab 的开源 LLM 推理与 serving 库，已有超过 2000 名贡献者参与维护。
/u/IceFog72 发布 ik_llama.cpp 分支，加入带宽自适应 CPU/GPU 混合执行、专家常驻（expert residency）、jadidbourbaki 的 n-gram cache 优化适配以及 Q2_0 量化支持，可用 --moe-resident auto --moe-resident-mib N 控制常驻专家占用的 VRAM 上限。
推荐理由：作者在自建 RTX 2060 6GB 环境给出前后对比数据，读者可据此判断这套 MoE 常驻专家方案是否适合自己的瓶颈场景。
Gigabyte AORUS RTX 5090 AI BOX 是一款外接 GPU，配备 32GB GDDR7，通过 Thunderbolt 5/USB4 连接，被考虑作为内置 RTX 5090 台式机的替代方案来运行本地 LLM。发帖者希望获得 AI BOX 与台式机 RTX 5090 在不同量化下运行常见模型的实际 tokens/sec 对比数据。
一位 Reddit r/LocalLLaMA 用户在 2× RX 7900 XT（各 20 GB）上实测 Qwen3.8-27B 与 Flash Next：Qwen3.8-27B IQ4_XS 配 ROCm + MTP3 达 46.4 TPS。