新闻、仓库与研究，按时间排列。
独立贡献者 princepppp 发布了 google/gemma-4-E2B-it 的去对齐版本 gemma-4-E2B-it-ultra-uncensored-heretic 的 GGUF 量化，使用 Heretic v1.2.0 的 Arbitrary-Rank Ablation 方法，消融 attn.o_proj 组件（层 17-24）。
推荐理由：作者给出了拒绝率、KL 散度和 MMLU 前后对比，可据此判断这个去对齐版本去掉了多少、损失了多少。
GitHub 上的 Trinity S³AI 是一个三进制计算框架，涵盖 VSA、BitNet LLM 推理与数学恒等式 φ² + 1/φ² = 3。
作者发布纯 Rust 从零实现的本地 LLM 推理引擎 minfer，无 ML 框架依赖，支持 GGUF v3 加载、声明式计算图、浏览器交互可视化及 Metal/CUDA 后端。
推荐理由：作者给出与 llama.cpp 同窗口对照的实测数据，包括 7B Q4_K_M prefill 1.080× 和各上下文长度的 decode 对比，可据此评估这个纯 Rust 引擎的性能。
用户将 dealignai 的 GLM-5.3-UNCENSORED-FP8 量化为 MXFP4 并上传至 Hugging Face，供 AMD GPU 用户使用。
dzaragoza 发布 LLM-benchmark 仓库，配套独立研究 Small Models, Big Claims（DOI: 10.5281/zenodo.22855666），测量在集成 GPU 上经 llama.cpp Vulkan 后端从系统内存运行的小型 instruct 模型。
推荐理由：作者把整套基准流程做成一条命令加两个离线选型页，读者可复用其量化阶梯与读速门槛方法来挑选本地小模型。
开源项目 PocketLLM 让大语言模型在单个加速器（一块 GPU、边缘开发板或手机）上运行，放不下就进一步量化而非卸载或多卡拆分。其 C 引擎已能运行 Qwen3-0.6B（f16 或 q4_k_m），贪心解码在 cpu 和 cuda 上与 llama.cpp 逐 token 对齐，量化器经线程池优化从 1087 us 降至 55.6 us。
Kitani 在 Hugging Face 发布 GLM-5.3-UNCENSORED 的 MXFP4 量化版本，基于 dealignai/GLM-5.3-UNCENSORED-FP8 做 FP8→MXFP4 再量化，未做额外训练。
GitHub 仓库 club-3090 提供在 RTX 3090 等 NVIDIA 显卡上本地部署 LLM 的配方，包含可用的 compose 配置、补丁和实测数据，覆盖 vLLM、SGLang、llama.cpp、ik_llama 和 exllamav3 引擎。
GitHub 上的 Papermorph Courseware 可将 PDF 或 Markdown 课件转为带旁白、随堂测验和练习的动画课程，并导出为 SCORM 1.2 包上传至 Moodle 等 LMS。
一位用户在 128GB 统一内存的 M5 Mac 上，用真实编码、智能体和游戏任务基准测试了 Deepseek v4 flash 0731、GLM5.3-flash 和多款 Qwen 模型。
nibor1896 的 crow-nest 仓库 README 给出 Qwen3.8-Flash-Next-CNQ4.5-M（104.7 GB，来自 Hugging Face）与 Qwen3.8-27B 量化模型的下载。
HauhauCS 在 Hugging Face 发布 Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF，实测拒绝率 0/465，主打直接回答、无拒绝行为和最少前导语。
推荐理由：原文给出 0/465 拒绝率实测和各量化的 FastMTP 加速数据，读者可据此判断这个 Aggressive 去对齐版本的实际表现。
pepuscz 在 GitHub 发布 strix-halo-llm 仓库，提供面向 128 GiB AMD Ryzen AI Max+ 395 / Radeon 8060S（Strix Halo）主机的合格本地 LLM 部署方案、基准测试和固定的 Ansible 配方。
推荐理由：仓库给出 Qwen 与 DeepSeek 在 128 GiB Strix Halo 上的实测对比和固定 Ansible 配方，四槽位方案带来 1.96 倍检索提速，可直接复用。
gittensor-ai-lab 在 GitHub 开源 SparkInfer，一个面向 Blackwell GPU 的原生 C++/CUDA MoE/LLM 解码运行时，2.5 MB 二进制、无 Python 栈，一条 docker 命令即可起 OpenAI 兼容端点。
推荐理由：原文给出同一 GPU 上与 llama.cpp 和 vLLM 的逐项对比数据，读者可以据此判断这个 Blackwell 原生推理引擎的实际加速幅度。
TopherAU 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的去审查微调版 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF，提供常规与 MTP 两种 NEO imatrix GGUF 量化。
推荐理由：原文给出 Heretic ARA 消融的拒绝率与 KL 散度前后数据，以及 8bit/4bit 下 ARC-C 等基准对比，可据此评估这个去对齐微调的实际效果。
Hugging Face 上线的 Gemma-The-Writer-N-Restless-Quill-10B-Uncensored-GGUF 是基于 Gemma2 的四个 EQBench 高分写作模型合并的无审查创意写作模型，经 Brainstorm 5x adapter 修改后达 10B 参数、46 层、508 tensors。
作者发布一个 MoE offloading 研究补丁：路由器首选专家及 gate 权重 ≥ 0.15 的专家等待读取，其余用已在 VRAM 的次优专家替换，使 Qwen3-Next-80B-A3B Q4_K_M 在 RTX 3090 上解码明显快于原版 llama.cpp。
推荐理由：作者实测了 MoE 专家缺失时的替换策略，给出不同内存下与原版 llama.cpp 的解码速度和精度损失数据，可复现。
一位 Reddit r/LocalLLaMA 用户在双 gfx1030（RX 6800/6800 XT）上测试 Qwen3.8 27B（unsloth q6_k）性能。
作者 /u/jeeva1398 发布了 npm 包 eventa，基于 Qwen2.5-Coder-1.5B-Instruct 做 QLoRA 微调（Unsloth，r=16，2 epochs，Q4_K_M，986 MB），在免费 Kaggle T4 上训练约 9 分钟，可完全离线审查 Node.js 代码。
推荐理由：作者公开了数据构成、训练配置和保留集评测数字，还写明了微调版变差的一面，读者可以核对这套小模型微调流程。
/u/Cultural_Self8980 在 Ternary-Bonsai-4B 上搭建了本地 Jev 式 System One，单次前向即可对一条记录回答多选、评分或是否问题，通过树状注意力掩码共享记录前缀，权重冻结无微调，Apple Silicon 上 MLX 后端使用约 1.1 GB 的 2-bit 打包权重。
推荐理由：作者用 80 个样本对比了 Bonsai 与 omp 内置 judge 与 Claude Opus 标签的一致率和延迟，并自己列出了标注来源等局限。
开发者 /u/Physical_Toe_2499 发布 YoungAi，一个原生 C/CUDA 推理引擎，将约 510 GB 的 DeepSeek V4.1 Flash 压缩为 113.6 GB VQ 基座 GGUF 加每个领域约 40 MB 的领域边车文件，在单台 NVIDIA DGX Spark（GB10，128 GB 统一内存）上运行。
推荐理由：作者给出了各领域 top-1 一致率、KL、PPL 和实测吞吐数据，还坦陈了后训练文件不泛化等局限，便于读者自行评估这套部署方案。
一位 Reddit 用户计划组装预算型本地主机运行 4-bit Qwen3.8-Flash-Next（medium reasoning），测试约 20 个开源模型后只有它通过强制文档检索的任务且不编造配置项。
y0sif 开源了 whisrs，一个用 Rust 编写的 Linux 桌面语音工具，支持按热键在任意应用光标处语音输入、朗读选中文本，以及语音驱动的 LLM 命令改写。
/u/lkarlslund 发布了面向 RTX6000 96GB 的 NInfer 分支 NInfer6000，在理想条件下对 Qwen 3.8 Flash Next 跑出 400 tok/s 生成与约 13K tok/s 预填充。
推荐理由：作者给出了从 512 到 256K 多档上下文的 decode 与 prefill 实测数据，可据此评估 RTX6000 上该推理方案的实际收益。
john-rocky 在 GitHub 发布 edge-llm-bench，一个面向真实设备上本地 LLM 引擎的中立、可复现基准测试框架，覆盖 LiteRT-LM、llama.cpp、MLX、Apple Core AI、Cactus 五个引擎和 Mac Studio (M4 Max)、iPhone 17 Pro、Pixel 8a、Galaxy S26 四台设备。
推荐理由：原文给出了可复现的本地 LLM 引擎基准测试框架，含持久化原始记录、回归判定和跨设备续航测试协议。
作者 ictzft 在 GitHub 开源了一个从零手写的轻量推理引擎，覆盖 KV Cache、两阶段调度和采样全家桶，在 RTX 5070 Ti 上用自训 0.21M 字符级 GPT 和 Qwen3-0.6B（bf16）双平台验证。
推荐理由：作者用逐位全等和手算对账验证每步优化，KV Cache 与两阶段调度的加速数字都附实测协议，方法可迁移到自研推理引擎。
一位开发者在 r/LocalLLaMA 分享 Qwen3.8 27B 与 flash next 的实际使用对比：尽管基准测试显示 flash next 略优，但在其 spec→implement→review 工作流中。
xnet-ba 开源 AgentMujo AI 智能体的训练系统 v0.5，基于 alphaedge-ai/Qwen3.5-2B-bos-32768（1.77B 参数、原生上下文 262k）微调，使模型能调用 14 个工具、执行多步任务并校验结果。
作者实测 Orange Pi 5 Plus（RK3588、16GB）运行本地大模型的表现，发现把 Ollama 限制到 4 个 A76 大核可带来最高 +318% 提速，Qwen 2.5 1.5B 达 14.5 tok/s，而 Llama 3.1 8B 受 LPDDR4x 带宽限制仅 2.3 tok/s 且裸片温度达 85°C。
推荐理由：作者用同一块板子实测了线程数、NPU 与散热的取舍，给出了各档模型的 tok/s 和温度数据，可迁移到其他 RK3588 部署场景。
/u/ExxploreCraft 在 RTX 4060 Ti 8 GB 加 64 GB 内存的 PC 上，用 Claude (Opus 5.5) 逐项调优 llama.cpp 配置，推理速度达默认设置的 2 到 9 倍。
推荐理由：作者逐项调整配置并给出实测数据，MoE 专家放内存、显示移到 iGPU、原生 Linux 等做法可直接迁移到类似 8 GB 卡环境。
Hugging Face 用户 daddysteven 发布 Qwen/Qwen-Image-2.1 的无审查 GGUF 量化版本，提供 BF16（14.23 GB）到 Q4_0（4.15 GB）等多种量化文件，推荐 Q4_K_M 以平衡体积与质量。
huihui-ai 的 Qwen3-Coder-Next-abliterated 模型现提供基于 llama.cpp b7966 的 imatrix GGUF 量化版本，涵盖 Q8_0（84.81GB）到 IQ1_M（17.19GB）共 26 种规格，其中 Q4_K_M（48.56GB）等多档被标注为推荐。
Invergent 在 GitHub 开源 Surogate，一套原生 C++/CUDA 的 LLM 训练与推理工具链，覆盖预训练、LoRA/QLoRA、GRPO、DPO、蒸馏和 HTTP 推理服务。
推荐理由：原文给出训练与推理两条基准的具体数字和对比对象，读者可以按自己的 GPU 和并发场景核对这套 C++/CUDA 工具链是否值得试。
/u/Few-Rough-2215 仅用公开数据在单台 DGX Spark 上对 MedGemma 4B（LoRA）和 27B（QLoRA）做肿瘤学微调：4B 准确率 56.0% 升至 71.6%，27B 68.8% 升至 77.9%，微调后 4B 胜过基座 27B（p = 0.002）。
Daniele Moltisanti 发布 Korgis（仓库名 Local LLM Server），一个本地 AI 运行时控制平面，通过单一 HTTP API 管理多个常驻模型运行时。
意大利 I3K Technologies 发布开源本地推理引擎 EuLLM（AGPL-3.0），以单个 Rust 二进制提供 Ollama 和 OpenAI 兼容 API，无遥测、无外部 API，并内置面向 EU AI Act 的本地审计日志。
推荐理由：原文给出了各硬件上的具体吞吐和延迟数字，读者可以据此评估这个本地推理引擎是否适合自己的部署场景。
GitHub 上的 finetuning-quantize-evaluate 是一套面向 Windows 的微调、量化与评测指南和工具集，覆盖语言模型、视觉语言模型和嵌入向量模型。它支持 LoRA、QLoRA 和知识蒸馏以降低显存需求，要求 Windows 10/11、至少 8 GB 内存和 20 GB 磁盘空间，并提供从数据准备到评测对比的完整工作流程。
llama.cpp 是基于 ggml 库的开源推理项目，目标是在本地和云端多种硬件上以最小配置实现 LLM 与 VLM 的 SOTA 推理性能。
Hugging Face 上发布 GLM-4.7-Flash 的去审查（Heretic）GGUF 量化版，基于 30B-A3B MoE 架构，激活约 2B 参数，可在 GPU 或 CPU 上运行。量化采用 NEO 与 Code 双 Imatrix 增强，输出张量使用 16 位全精度，模型支持最高 200k 上下文（非 RoPE），推荐最低 8k-16k 上下文。
greglechin 发布 ajgazin/Swift-1.5-Qwen3.8-27B-Uncensored-MTP 的 AWQ W4A16 非对称 g128 量化版（19 GB）。
推荐理由：作者用 GPQA-Diamond 逐题对比证明该 AWQ 配方不像此前 GPTQ 那样拉长推理长度，分数差异均在噪声内。