新闻、仓库与研究，按时间排列。
mradermacher 在 Hugging Face 上架 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Instruct-bf16-GGUF 量化模型，提供 Q4_K_S 等量化版本。该模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具本地运行，支持启动 OpenAI 兼容服务器或在终端直接推理。
mradermacher 在 Hugging Face 上架 gemma-4-E4B-it-The-DECKARD-V2-Strong-HERETIC-UNCENSORED-Thinking 的 bf16 GGUF 量化模型，提供 Q4_K_S 等量化格式。该模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Jan 等工具本地运行，支持启动 OpenAI 兼容服务器或在终端直接推理，也可接入 Pi、Hermes、OpenClaw 等 Agent 工具。
mradermacher 在 Hugging Face 上发布 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Thinking 的 bf16 GGUF 量化版本。文档给出通过 llama.cpp、Ollama、Docker 等工具运行 Q4_K_S 量化文件的命令，可直接启动 OpenAI 兼容本地服务器或在终端推理。
struklabs 开源发布 Harness Studio v0.1.2，一个基于 Tauri、Rust 和 Svelte 5 的桌面应用，管理 llama.cpp 等引擎让用户在本地电脑运行大模型，无需订阅、离线可用。应用提供 Model Hub 搜索 Hugging Face 并校验 SHA-256、OpenAI/Anthropic/Ollama 兼容网关、MCP 双向支持、CLI 与 headless 模式，并内置 P50/P95 请求分析和 Prometheus 指标；Windows 安装包约 21 MB，应用自身占用约 250-350 MB 内存，MIT 许可。
GitHub 上的韩语 LLM 学习指南，通过从文本分类、下一 token 预测到 Attention 与小型 Transformer 的实操代码讲解训练、保存、推理与评估流程。后期章节扩展到加载 SmolLM2-135M-Instruct 进行 SFT、rank4 LoRA 与 NF4 量化的 QLoRA，并覆盖 HTTP API 部署、吞吐与显存峰值测量及模型版本注册。
arXiv 论文 Specter 提出一种 MoE 推理系统，用量化让轻量 draft 模型在设备上运行，对未来专家使用做多步投机预判，提前安排专家的搬运与执行。单请求推理下相对 SOTA 系统平均取得 1.50x（最高 1.88x）的 TPOT 加速，让单 GPU 受限显存下的 MoE 推理在消费级硬件上更可行。代码在 https://github.com/wwwwwf/specter_asplos，论文见 https://arxiv.org/abs/2511.14102。
mradermacher 在 Hugging Face 发布 Rice-Cracker-Qwen3.5-0.8B-Abliterated-Base 模型的 i1-GGUF 量化版本，模型参数量为 555k，采用 abliterated（去插话微调）处理，托管于 Hugging Face 仓库，支持用户登录后查看硬件兼容性信息。
Hugging Face 上的 mradermacher/Qwopus3.5-27B-v3-Abliterated-i1-GGUF 提供 Q2_K 等量化版本，可通过 llama.cpp 在 macOS、Linux 和 Windows 上以 `llama serve` 启动本地 OpenAI 兼容服务器或在终端直接推理，也支持 Ollama、Docker Model Runner 运行，并可接入 Pi、Hermes、OpenClaw 等工具。
一位 r/LocalLLaMA 用户计划以约 850 美元总预算组装电脑，本地运行 Qwen3.8 27B 的 q5_KM 或更高量化版本。其配置方案包括 2 张 3060 12GB、750W 金牌电源和 DDR4 内存，GPU 预算约 500 美元，并在评论区询问内存选择对带宽和速度的影响。
LxBarn 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的无审查（Uncensored）量化版本，提供 GGUF、Safetensors 和 MLX 格式，文件大小从 NVFP4 的 4.20 GB 到 BF16 的 14.23 GB 不等，其中 Q4_K_M（4.60 GB）被推荐为 GGUF 体积与质量的最佳平衡。该版本内置 qwen3vl_8b 文本编码器与 VAE 文件，可直接在 ComfyUI 中使用，且无内置安全检查器，可直接生成成人、NSFW 及敏感图像。
JonathanColetti 发布 Qwen3.8-27B 的去对齐 GGUF 量化版，用 Heretic 移除拒绝方向，100 条有害提示上的拒绝数从基座的 98 降到 12，首 token KL 散度 0.1191。提供 IQ2_M 到 Q8_0 共六档量化并保留 MTP 头，MMLU、ARC-Challenge、HellaSwag、Winogrande 平均下降 0.5 分，困惑度相对基座 bf16 增加 0.0434，附 ComfyUI 与 llama.cpp 用法及投机解码吞吐数据。
同一新闻，精选展示《Qwen3.8-27B-Uncensored GGUF 量化版发布，拒绝率从 98/100 降至 12/100》
HauhauCS 发布 Qwen3.8-27B 的 Aggressive 去对齐 GGUF 量化版，实测 465 次测试中 0 次拒绝，保留文本、推理、Agent 及图像视频能力。附带 FastMTP 32K 加速 sidecar，在 Q8_K_P 下文档生成速度达非 MTP 的 3.02 倍、推理生成 1.93 倍，比内嵌 MTP 再快 35.2% 和 21.1%；数据基于 RTX PRO 6000 Blackwell 96 GB、204800 上下文测得。需 llama.cpp 打补丁运行，视觉输入需单独 BF16 projector，沿用 Apache 2.0 许可。
/u/Unstable_Llama 在 r/LocalLLaMA 分享 Qwen3.8-Flash-Next 的 1.66bpw EXL3 量化版本，无需 offload 专家即可完整装入 5090。推理全程稳定、无推理循环，速度 200-300 t/s；因 32 GB 显存即便配合 cache 量化上下文空间仍紧张，需做较多 compacting。权重发布在 https://huggingface.co/turboderp/Qwen3.8-Flash-Next-exl3，附量化模型生成的液体猫演示视频。
GitHub 开源工具 overbrainer v0.9.0 支持从命令行把大的父模型蒸馏成更小的开放权重子模型：向父模型生成问题并收集带推理的回答，用 Axolotl 在本地、SSH 机器或 Runpod 上做 LoRA 微调，再导出量化 GGUF 和 Ollama Modelfile。overbrainer compare 在评测集上对比子模型与父模型的胜率、延迟和每千次请求成本，并提供六视图终端 UI、Prometheus 指标和可安装到 Claude Code 的 agent skill。项目处于早期开发阶段，1.0 前小版本可能有破坏性变更。
推荐理由：从生成数据集到用 Axolotl 微调再到导出 GGUF 全流程一条命令走完，还用胜负率和成本对比衡量孩子与父模型的差距。
Qualcomm 开源的 efficient-transformers 库将预训练 LLM 重写为可在 Qualcomm Cloud AI（AI100、AI200 等）上高效推理的优化形式，提供图变换、低精度执行、ONNX 导出、Patcher 与示例应用等能力。最新动态包括 07/2026 新增 Kimi-K2.5 视觉语言模型支持和 QEFFAutoModelForCausalLM.export() 的 dynamo ONNX 导出，06/2026 新增 Gemma4、Qwen3.6、Qwen3 VL、GLM-4.5 MoE 支持等。
mradermacher 在 Hugging Face 上发布了 Rice-Cracker-Qwen3.5-0.8B-Abliterated-Base 的 GGUF static quants 量化版本。该模型目前未被任何 Inference Provider 部署，下载量未被追踪。
ThousandML 发布开源微调平台 Training Factory，用 QLoRA 对 4-bit 量化模型做微调以降低 GPU 成本。其采用的 CQ（Coded Quantization）是无校准量化，效果与主流量化相当，已提供 Qwen3.8-27B-CQ-4bit、Llama-3.1-8B-Instruct-CQ-4bit、Llama-3.3-70B-Instruct-CQ-4bit 等底座，并支持用 vLLM 加载 LoRA adapter 部署。
一位 Reddit r/LocalLLaMA 用户在 2x5090 + 128GB 内存的本地环境运行 Qwen3.8-27B 做智能体编程，称 vLLM 是唯一不破坏 KV cache 且能高效利用的框架，目前使用 Minachist 的 Qwen3.8-27B-INT6-Mixed-AutoRound 量化版本。他考虑改用 Flash Next，但未找到针对 2x5090 + vLLM 的平衡配置方案，向社区征求部署经验。
mradermacher 在 Hugging Face 上提供 Qwopus3.5-27B-v3-Abliterated 的 GGUF 量化版本，含 Q4_K_S 等格式。该模型可通过 llama.cpp 在 macOS、Linux、Windows 本地运行，支持启动 OpenAI 兼容服务器或终端直接推理，并可在 Ollama、LM Studio、Jan、Docker Model Runner 等工具中使用。
mradermacher 基于 Ministral-3-3B-Instruct-2512-BF16-abliterated 发布了 imatrix 量化 GGUF 版本，并提供 0.1 GB 的 imatrix 文件供用户自行制作量化。该模型为视觉模型，mmproj 文件存放于对应的 static 仓库中；静态量化版本另有单独仓库提供下载。
/u/woct0rdho 为 llama.cpp 编写了 LoRA 推理 kernel，代码见 https://github.com/woct0rdho/llama.cpp 。在 Strix Halo 上，加载 35 MB 的 LoRA（如把 Qwen3.8-Flash-Next 转成 uncensored 版的 chenrm/qwen3.8-flash-next-abliterated-lora）原本使 PP 从约 1500 降到 300 t/s，通用 kernel 提升到 1000 t/s，fused kernel 进一步到 1400 t/s。LoRA scale 可调节去审查与能力损失之间的平衡，且无需重新下载整个模型。
推荐理由：作者给出了 LoRA 推理在 Strix Halo 上从 300 到 1400 t/s 的实测数据，并开放了可复用的 kernel 代码。
Kapitsa 开发者发布 0.2 版，引入新投机解码方法 KFlash，并在 MacBook Pro M4 Pro 48GB 与 M1 Pro 16GB 上对比多款引擎的解码速度。Qwen3.8 27B 4-bit 下 Kapitsa 0.2 KFlash 达 63 tok/s，Inco Splash 1.4.0 DFlash2 为 53 tok/s；Qwen3.6 35B-A3B 上两者分别为 161 和 135 tok/s。KFlash 在同一遍检查中用 best-first 树检查草稿候选，而非单链遇错即停。作者提供 kapitsa bench 供用户自测并提交结果，Splash 需 M3 或更新芯片，Kapitsa 支持 M1 至 M6。
推荐理由：作者给出两代 Mac 上多引擎的实测数据，并解释了 KFlash 与 DFlash2 在投机解码检查方式上的差异，便于读者对照自己的机型。
GitHub 本地 LLM 热度榜显示，Qwen3.8-27B-Instruct（Apache 2.0）以 100.2 热度居首，在 RTX 5090 上经专用推理引擎达 500 t/s 单智能体、约 2000 t/s 多智能体，支持最高 1M token 上下文。Qwen3.8-Flash-Next-125B（MoE）以 60.4 热度次之，在 AMD Strix Halo 上 prefill 达 938 t/s。Ternary Bonsai 2 27B 经 1.75-bit 三值压缩至 5.9GB，保留约 98.2% 能力，5 天下载 11,792 次。
richajoy 在 GitHub 发布 llm-inference-performance 仓库，用 NVIDIA Dynamo、vLLM 和 Kubernetes 在 H100 上部署 Qwen3-8B，逐项改变负载、路由、分离式部署、自动扩缩和引擎设置并测量 TTFT、TPOT、吞吐与容量。
推荐理由：原文用字节与 FLOPs 从第一性原理解释每个调优参数为何影响 TTFT、TPOT 和吞吐，并给出可复现的基准数据与修正记录。
arXiv 论文提出数据中心的后训练量化方法，突破 4 比特边界，在 2 比特下用向量码本表示、任务对齐校准数据与仅码本的恢复微调三要素组合，将标量 PTQ 崩溃到随机水平的模型恢复可用。该配方在 3.8B 到 32B 的六个稠密与 MoE 模型上每权重约 2.3 有效比特，保留 89 到 97% 的全精度问答准确率，计算量比最强 QAT 基线少 1.4 到 30 倍。
BitMTP 提出算法与系统协同设计框架，在超低比特 LLM 骨干上实现高效多 token 预测（MTP），已被 NeurIPS 2026 接收。该框架用联合 next-token 与 MTP 目标让单一模型同时具备自回归生成与 block-causal drafting，并提供置信度、投机与混合三种解码方式。在 NVIDIA H20 上混合解码于 BitNet b1.58-2B 取得五任务平均 2.2x 加速，1.7B-4B Bonsai 模型为 2.1-2.4x，RTX 3090 与 Jetson Orin 上分别达最高 2.0x 和 MBPP+ 上 3.3x，代码已开源。
推荐理由：论文把多 token 预测与超低比特量化结合，给出跨 GPU 的实测加速比，方法与系统设计都可参考。
Hugging Face 用户 mradermacher 发布 mistralai Ministral-3-3B-Instruct-2512 的 abliterated 处理版 GGUF 量化模型，基于 BF16 权重制作静态量化。该模型未被任何 Inference Provider 部署，下载量暂未被追踪。
蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming，仓库位于 github.com/vllm-project/humming。该项目定位为通用高性能量化推理内核库，以开源方式提供。
Hugging Face 用户 mradermacher 上传了 Ministral-3-3B-Reasoning-UNCENSORED-heretic 的 i1-GGUF 量化模型仓库。该模型参数规模为 1.49M，仓库页面暂缺 YAML 元数据，下载量数据尚未显示。
ACE-Compression 是一个以能力为中心的大语言模型压缩评估框架，从程序推理与约束执行、知识基础与真实性、社会认知与情感理解、人格一致性与风格稳定性四个维度考察压缩后模型的能力存续。对来自六个开源权重 LLM 的 35 个以上压缩 checkpoint（涵盖量化和剪枝）的分析显示，压缩会重新分布能力：粗粒度、局部、表层信号往往保留，而细粒度、长尾、依赖上下文的能力变得脆弱；量化在能力保留上始终优于剪枝。部署者可据此按应用所需能力画像选择压缩方法。
一位用户在 r/LocalLLaMA 求助：过去 9 个月主要使用 Gemini Flash Pro、Claude、DeepSeek、Groq 与 Cerebras 等云端模型，现想在 M1 Max 64GB 上离线运行 32B、70B、120B 模型处理敏感原型工作。7B Llama MLX 可达 45 token/sec，但 32B 模型在 LM Studio 中报错，用途涵盖医学/法律研究、轻量编码、CAD/PCB 与图像生成等。
pottokao 在 Hugging Face 上发布 MiniMax-H3-TextEncoder-16GB-abliterated-GGUF 模型，提供 abliterated 版本的 GGUF 格式。该模型可通过 llama.cpp 的 llama serve / llama cli 直接运行，支持启动 OpenAI 兼容本地服务器，并兼容 Ollama、Docker Model Runner、LM Studio、Jan、Pi、Hermes Agent、OpenClaw、Lemonade 等多种工具。
作者发布 Ternary-Bonsai-2-27B-Abliterated-PQ2_0-MTP-Q4_0-GGUF，在 Hikari07jp 的 abliterated 构建基础上把 MTP 草稿头从 Q8_0（430.41 MiB）重量化为 Q4_0（227.91 MiB），使组合能在 8GB 显卡上运行，实测 RTX 3070 上 45.7 tok/s、7 724 MiB 显存。主干与 abliterated 构建逐位一致，仅 blk.64.* 不同；因 MTP 头只是草稿、输出由主模型验证，困惑度 8.4593 与无头版本 8.4557 在测量误差内，200 个贪心 token 零分歧。
推荐理由：作者给出逐字节校验和 RTX 3070 8GB 实测数据，说明把 MTP 头降到 Q4_0 后为何不损失输出质量。
HauhauCS 发布 Gemma-4-E4B-Uncensored-HauhauCS-Aggressive，基于 google/gemma-4-e4b-it 的 abliterated 无审查版本，0/465 拒答，不改动数据集与能力。模型为 4B 参数、131K 上下文、原生多模态，提供 Q8_K_P 至 Q2_K_P 多种 GGUF 量化，K_P 量化以约 5-15% 更大文件换取提升 1-2 级的质量，兼容 llama.cpp、LM Studio 等 GGUF 运行时。
一位 Reddit r/LocalLLaMA 用户在 8GB 显存的本地设备上运行 Unsloth 3bit Qwen 3.8 Flash Next，原速仅 9t/s；改用 CachyOS 与 STRATA（自带 NVIDIA 驱动）后峰值达 48t/s，平均约 30t/s。上下文长度最高跑到 42k，距 OOM 仅差约 130MB VRAM，64k 因显存不足无法实现，作者称其体验接近本地版 Claude。
dealignai 在 Hugging Face 上架 Ornith-1.5-122B 的 ABLITERATED GGUF 版本。该列表不含模型权重，权重与完整模型卡位于 dealignai/Ornith-1.5-122B-UNCENSORED-GGUF 仓库，下载、评测结果和运行说明请使用该 UNCENSORED 仓库，基座模型为 ornith-ai/Ornith-1.5-122B。
dealignai 在 Hugging Face 上架 Ornith-1.5-122B 的 ABLITERATED NVFP4 版本。该列表不含模型权重，权重与完整模型卡位于 dealignai/Ornith-1.5-122B-UNCENSORED-NVFP4 仓库，下载、评测结果和运行说明请使用该 UNCENSORED 仓库，基座模型为 ornith-ai/Ornith-1.5-122B。
dealignai 在 Hugging Face 发布 Ornith-1.5-122B 的去对齐 GGUF 版本，基于 Qwen3.5 系混合 GatedDeltaNet + 全注意力 MoE 架构（122B 总参数 / 10B 激活），提供 Q4_K_M（79.4 GB）和 IQ2_XXS（44.1 GB）两种量化，均保留原生 MTP 自推测解码与视觉塔。HarmBench-320 评测中 IQ2_XXS 真实合规率 99.7%、Q4_K_M 为 97.8%；MMLU-5k 显示 Q4_K_M 整体较基座下降 2.85pp、IQ2_XXS 下降 5.08pp。模型支持 llama.cpp 部署与 enable_thinking 开关，MIT 许可，作者提醒需自行添加下游安全控制后再面向终端用户部署。
同一新闻，精选展示《dealignai 发布 Ornith-1.5-122B-UNCENSORED-NVFP4 去对齐量化版》
dealignai 在 Hugging Face 发布 Ornith-1.5-122B 的去对齐 NVFP4 量化版，基于 Qwen3.5 系混合 GatedDeltaNet + 全注意力 MoE 架构，122B 总参数 / 10B 激活，磁盘占用约 71 GB，MIT 许可。HarmBench-320 实测 96.6% 服从率，MMLU-5k 相比 NVFP4 base 下降 1.69pp，为三个去对齐量化版本中回归最小者；保留原生 MTP 头与视觉能力，支持 vLLM 推测解码，针对 NVIDIA Blackwell SM100（B200/GB200）优化，SM120 消费级卡上吞吐明显更慢。
推荐理由：原文给出 HarmBench 拒绝率与 MMLU 前后对比，读者可据此判断这个去对齐版本去掉了多少、损失了多少。
Perturbador 在 Hugging Face 发布基于 Llama 3.2 3B 的无审查微调模型 llama-3.2-3b-uncensored-chat，已转换为 GGUF 格式并用 Unsloth 训练，速度提升 2x。模型提供 Llama-3.2-3B.Q4_K_M.gguf 文件，附 Ollama Modelfile 便于部署，可通过 llama-cli 运行，BOS token 行为已为 GGUF 兼容性调整。