新闻、仓库与研究，按时间排列。
EsteefAi 在 Hugging Face 发布 ttindall 的 Qwen3.8-27B-Defiance-Uncensored-MTP-GGUF 镜像，文件与原版逐字节一致（SHA-256 相同），采用 apache-2.0 许可。镜像旨在保证 Philibert 安装可用，支持通过 Ollama 拉取 IQ4_XS 和 Q6_K_P 两种量化版本。
mradermacher 在 Hugging Face 上发布了 qwen2.5-1.5b-abliterated-argos 的 GGUF 静态量化版本，提供从 Q2_K（0.8GB）到 f16（3.2GB）共 12 种规格，其中 Q4_K_S、Q4_K_M 标注为快速推荐，Q8_0 质量最佳。weighted/imatrix 量化暂未提供，用户可通过 Community Discussion 提出请求。
mradermacher 在 Hugging Face 上发布了 LFM2.5-24B-A2B-abliterated 的 GGUF static quants 量化模型。该模型目前未被任何 Inference Provider 部署，下载量也未被追踪。
atrezonator 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的 EfficientThink 无对齐版本，经 SFT 与 SimPO 后训练，拒答评测为 10 类 140 条提示中 4/140（2.9%）。同协议对比显示 SimPO 后 GPQA 升 3.54pp、LCB 升 5pp、MMLU 降 1.80pp；仓库提供 GGUF 六档、NVFP4、INT8-W8A8-QAT、AWQ-W4A16、静态 FP8 等多套量化包及 DFlash2/MTP draft，并附 DGX Spark 与 RTX PRO 6000 上的冻结实测成绩。
推荐理由：原文给出拒答率 4/140 的实测数据和 SimPO 前后 GPQA/MMLU/LCB 对比，读者可据此判断去对齐与能力保留的实际代价。
mradermacher 在 Hugging Face 上提供 Ministral-3-8B-Reasoning-UNCENSORED-heretic-i1 的 GGUF 量化版本，支持 Q2_K 等量化格式。该模型可通过 llama.cpp、Ollama、Docker Model Runner、Lemonade 等工具以 OpenAI 兼容服务器或命令行方式本地运行，也可接入 Pi、Hermes、OpenClaw 等智能体工具。
Hugging Face 上线 mradermacher 制作的 Ministral-3-8B-Reasoning-UNCENSORED-heretic GGUF 量化版本，该模型为无审查的推理模型。仓库页面显示模型大小约 0.4B 参数、架构为 clip，具体下载量数据暂未提供。
lilcheaty 基于 RecursiveSI/flint 发布权重编辑的去对齐版本 flint-abliterated-GGUF，沿用 Apache 2.0 协议，从 128 条 AdvBench 有害提示与 128 条 Alpaca 无害提示估计拒绝方向并改写权重。实测显示 20 条保留提示上显式拒绝从 20/20 降到 0/20，20 条编码提示双方均 0 拒绝且 40/40 完成回答；作者说明该对比规模小、不构成通用安全或能力基准，运行需应用 llama.cpp PR #30928 的补丁版本。
同一新闻，精选展示《lilcheaty 发布 RecursiveSI/flint 的 abliterated 去对齐权重版》
GitHub 项目 chkalofff/decision-qa 推出 Web 应用「Вердикт」，可向本地 LLM 提问并获取答案概率分布，通过 SGLang（/v1/decisions，MLX 后端）、Cloudflare Clef（/v1/systemone）和 llama.cpp 运行的 GGUF 模型接入，也支持任意远程云模型。多模型可同时运行并对比答案，提供 macOS 与 Windows 安装包、模型管理页面及 API 密钥管理，双模型同时运行约需 64 GB 统一内存。
akapug 发布 homelab-atlas 仓库，用 2017 服务器、2019 工作站、Ryzen 桌面等四台旧机器实测本地大模型部署，如 DeepSeek V4.1 Flash（748B MoE）在 RTX 6000 + Optane 上解码 12.69 tok/s，GLM-5.3-Flash 在 3090 Ti 上达 26.69 tok/s。仓库提供 PATCHES.md 补丁索引、按硬件分类的复现命令、失败记录，以及浏览器端 Recipe Maker 规划工具，用于在下载权重前预判 MoE 模型在 VRAM、DRAM、PMem 上的布局与速度。
推荐理由：用二手服务器、老工作站和Intel冷门卡跑通大MoE模型，每个数字都附条件、命令和补丁来源，方法可直接照搬。
SharpAI 2.0 发布，这是一个 .NET 本地 AI 推理库，支持嵌入、文本补全和聊天补全，仅使用 GGUF 模型，基于 LlamaSharp 构建，可提供 Ollama 兼容和 OpenAI 兼容的 REST API。新版本默认按各模型 GGUF 内置聊天模板渲染请求，重建了 React 19 仪表盘，新增多租户认证与 RBAC（默认关闭）、四种数据库支持、Prometheus/OTLP 可观测性，以及 C#、JavaScript/TypeScript、Python SDK。所有推理均在本地完成，无需云端依赖。
/u/Dodgy_Past 在 Reddit r/LocalLLaMA 发帖，自建包含 44 个真实 bug 的测试集，让 Qwen3.8 27B 与 Gemma 4 31B 在两张消费级显卡上多轮辩论修复方案，得分 38/44、5 个假通过，而两模型单独作答为 31 和 30 分，也超过了 Nemotron 3.5 Super VL 120B 等更大的 MoE。增益主要来自约六个两模型各自都解不对的案例，但假通过几乎未改善（从 6 降到 5）；作者还发现共享完整推理与只共享提案没有可测差异，每题约花 6 次模型调用和 5 分钟 GPU 时间。
推荐理由：作者自建44个真实bug的测试集，实测两个中型模型辩论修复比单独作答和更大的MoE都更准，并给出假通过率与成本数据。
cinnybun02 在 Hugging Face 发布 Spark-X2.6-4B-Abliterated 的 Q5_K_M GGUF（2.77 GiB），用 llama.cpp 的 gguf_new_metadata.py 仅改元数据，将 Sharp-Spark v1.0.0 模板内置为 tokenizer.chat_template，权重与源文件逐字节一致。该模型为 XHToken 的 4.1B dense thinking model，经 Heretic 去除 53 个张量中的 refusal 方向；spark2_5 架构下 131k 上下文时 KV cache 量化后约 1.9-2.5 GiB。
orcarouter 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 去对齐（abliterated）版的 GGUF 量化权重，提供 Mix-256G（235.8 GB 内存占用）与 Mix-128G（114.0 GB）两种构建，基于 763B 参数 MoE 模型，含 197B 参数 Engram n-gram 表常驻 SSD。去对齐后 500 条有害提示拒绝率加权均值从 0.874 降至 0.074，过度拒绝从 0.069 降至 0.006，MMLU 保持 0.91 左右不变。
推荐理由：原文给出实测 KLD、拒绝率与 MMLU 前后对比，读者可据此判断这个去对齐版本到底去掉了多少、能力是否保留。
论文提出 SPARE，一种免训练、与 selector 无关的方法，用校准数据上 token 归一化 Top-K 门控权重的路由熵决定每层剪去多少专家，路由越分散的层剪得越激进，并用随机剪枝扰动界形式化该直觉。相同 selector 与预算下，SPARE 在 Mixtral、Qwen3 和 DeepSeek 模型上平均精度优于均匀分配，50% 专家剪枝时 Qwen3-30B-A3B 八任务平均从 57.2% 升至 63.8%，DeepSeek-R1 的数学、代码与科学平均从 80.1 升至 82.8。论文地址 https://arxiv.org/abs/2610.29662v1
推荐理由：论文把 MoE 专家剪枝从剪哪些专家推进到每层剪多少的问题，给出的路由熵方法无需训练即可提升高剪枝率下的精度。
SC117 发布 Spark-X2.6-4B-abliterated 的 FIT-GGUF 量化仓库，基于 XHToken/Spark-X2.6-4B 本地做输入门控消融，100 条留出有害提示的拒绝数从 99 降到 7，3-token 全分布 KL 扰动 0.0477，比同拒绝门槛下无门控的 0.2134 低 78%。仓库含 5 个经 KL 门限验证的 FIT 档位加 BF16 参考文件，五档合计 12.84 GiB，比同门槛下最小原生预设小 0.60 GiB（4.5%），其中两档即原生预设；imatrix 由公开语料重建，评测切片未进入校准文本。
推荐理由：原文给出输入门控消融的拒绝率与 KL 前后对比，以及五档量化相对原生预设的实测差距，可据此评估取舍。
Hugging Face 用户 Lordking998 发布 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored 量化模型。基准测试显示，Native MXFP4 格式在 32 并发下达 831.66 tokens/second 聚合吞吐，1 并发时为 146.84 tokens/second、首字延迟 p50 为 0.34 秒，整体吞吐高于 EXL3 2.875 和 EXL3 3.5 两种量化格式。模型以 uncensored（无审查）版本形式开源在 Hugging Face。
Hugging Face 上线 Comfy-Org/Fibo-2.0，为 BRIA AI 的 Fibo 2.0 模型提供 ComfyUI 重打包文件，包含 fibo2_dev 与 fibo2_edit_turbo 的 bf16 和 int8_convrot 版本，文本编码器为 qwen3vl_4b，VAE 为 flux2-vae。权重仅限非商业用途，商用需与 BRIA AI 另行协议。
一位 Reddit r/LocalLLaMA 用户分享实测：Qwen Flash Next 的 IQ2 量化在处理复杂、细微的代码 bug 时表现优于 27B 模型的 Q8 量化，能运行测试并更有条理地推理问题。作者强调这是主观体验，但认为值得选择 QFN。
privastudio 在 Hugging Face 上重新分发 huihui-ai 制作的 Huihui-Qwen3.8-27B-abliterated 的 Q4_K GGUF 量化版（约 16.8 GB），打包为可在 PrivaEmanator 中本地加载的格式。该模型基于 Qwen3.8-27B，由 huihui-ai 移除了拒绝回答行为，附带 mmproj-BF16.gguf 视觉投影文件以支持图像输入，采用 Apache-2.0 许可证。
Reddit 用户 /u/DataCraftsman 在 RTX PRO 6000 上通过带 flint PR 的 vLLM 跑通了 Flint NVFP4 版本，模型可正常调用其知识库、网页抓取并按给定人设对话。他抽样实测 LiveCodeBench v6 得 82.2（官方称 80.8），SWE-bench Verified 抽测 50/500 任务得 80（官方称 74.1）；单流约 110-180 tok/s，64 并发时峰值约 2500 tok/s。他称可能用它替换 qwen3.8 27b，附了 docker compose 配置和 chat_template 修复，并希望社区找到给它加上视觉能力的办法。
nchapman 在 Hugging Face 发布 Huihui-Qwen3.8-27B-abliterated-W4A16-GPTQ 模型，提供 Transformers、vLLM、SGLang 及 Docker 部署方式，并支持 image-text-to-text 多模态推理。模型可通过 vLLM 或 SGLang 启动服务后以 OpenAI 兼容 API 调用。
WestWaters 在 GitHub 开源 pollard-weights，一套按目标设备 RAM/VRAM 预算构建模型量化的工具，通过 pollard-sensitivity 测量各张量的 KL 敏感度后分配比特，保护 attention、router 和 embeddings，压缩专家 FFN。一次测量分配可输出 GGUF、GPTQ、MLX、EXL3、MX/NVFP4 五种格式，配套 pollard-verify 真实重建校验。在 Qwen2.5-7B 和 14B 上，同尺寸 1-bit 混合精度比均匀 trellis 量化困惑度低约 14%；其误差反馈 GPTQ 在 4-bit 恢复约 46% 的 round-to-nearest 误差。
推荐理由：原文给出了在 Qwen2.5-7B/14B 上与均匀量化的困惑度和 KL 对比数据，读者可以据此评估这套按内存预算分配精度的方法是否值得用。
Axolotl 是一个免费开源的大语言模型微调框架。2026/10 更新加入 Reflection 的 Beam 支持（含 QLoRA 与 NVFP4 expert-parallel LoRA 配置）、DeepSpeed Ulysses 上下文并行及 expert-LoRA resume 修复；此前版本新增 Qwen3.6、MiniCPM5、K2 Horizon 等模型支持，并提供 `axolotl export` 的 GGUF 导出以配合 llama.cpp 和 Ollama 部署。
soehi 发布 MoonLM，一个用 MoonBit 从零实现的端侧 LLM 推理引擎，同一份源码可编译到 native 与浏览器 js 后端，产物 669 KB / brotli 74.5 KB，推理零网络、零数据外传。已 GGUF 解析、Transformer 前向与采样（M0/M1）、Web Demo（M2）和带沙箱工具的 Agent 运行时（M3）完成；与 llama.cpp 逐位置对拍 288 位置 argmax 一致率 97.22%，浏览器端 SmolLM2-135M Q8_0 流式生成 6.3 tok/s，native 单线程 decode 18.4 tok/s（纯标量、无 SIMD，比 llama.cpp 单线程 57.2 tok/s 慢约 3.7 倍）。
推荐理由：从零实现的端侧推理引擎，对拍数据、性能数字与零网络验证都给了实测细节，可迁移到自建本地推理项目。
论文提出 OnQ，一种结合 on-policy 蒸馏与逐候选 Dynamic KL 的低比特恢复管线，用量化学生模型自身生成的前缀接受全精度教师监督。在 Qwen3-1.7B、4B 和 8B 的 2 与 3-bit 精度上，OnQ 取得九个基准的最高平均分；2-bit 下在每个模型规模的每个基准都超过所有基线，Qwen3-8B 平均比最强基线提升 10.26 分，且响应更短、截断和重复错误更少。论文链接：https://arxiv.org/abs/2610.29378v1
推荐理由：论文指出现有量化感知训练的固定响应监督缺陷，并用自身前缀上的蒸馏与动态 KL 给出可复现的低比特恢复方案。
PACE 是一种面向线性注意力语言模型的后处理四比特状态量化器，只需每生成几个 token 舍入一次状态，并按列共享量化比例、将误差保留最久的头保持在 8 比特。在 4B 到 35B 参数的四个混合模型上，混合 4/8 比特头的 PACE 在约为 8 比特 DAMP 三分之二内存的情况下性能相当，全程 4 比特版本在同等内存下得分高于 Q-Mamba，且保持解码加速。
cc1244578151 在 Hugging Face 发布 Qwen3.8-Flash-Next-Abliterated-Uncensored GGUF 量化模型，规格为 120B 参数、180B 级 512 专家 MoE（每 token 激活 10 个），并搭载 Turbo Brilliance 50x 系统（27 推理 + 27 instruct 模式，另有 9 个 xhigh）与 15 个 AI Constructs。该版本经 abliterated 去审查处理、无 censorship，支持在提示词、API 或 VLLM 中实时切换模式，可在 12GB 显存 GPU 上运行；实测 46GB 双 GPU + 内存 offload 达 17 t/s，全 GPU offload 达 60-90 t/s。
Reddit r/LocalLLaMA 用户分享一种投机解码思路：GPU 上保留模型 2-bit 副本负责起草 token，6-8 bit 残差权重留在系统内存由 CPU 校验，仅激活值经过 PCIe。实测 2-bit + 8-bit 残差比 Q8_0 更接近 bf16（KL 约减半）；6-bit 残差达到 Q8_0 级质量且从 RAM 读取字节减少约 28%；复用校验器 KV cache 的 2-bit 起草比 Google 官方 Gemma 4 drafter（31B）每次校验多接受 25-30% token（5.23 对 4.20）。代码已开源。
apetersson 正在上传 DeepSeek V4.1 Flash 1017 Abliterated 的 MLX 版本，为 Apple Silicon 准备的 oQ2.5e 混合精度检查点，共 53 个 Safetensors 分片，包大小约 342.7 GB，尚未完成，需等待 PUBLICATION.json 和 v1-oQ2.5e-mtp 标签发布后再下载。推荐在 256 GiB 统一内存 Mac 上用 oMLX 0.7.2 运行，上下文从 32K 起步，Engram 张量约 114.4 GiB 卸载至本地 SSD；SSD 前缀缓存测试中 8,588 个 token 复用 8,192 个，请求耗时从 14.62 s 降至 1.45 s。
Hugging Face 用户发布 Qwen3.8-Flash-Next-Abliterated-Uncensored-Turbo-Brilliance 的 GGUF 量化版，为 180B 参数、512 专家（每 token 激活 10 个）的无审查 abliterated 模型。其 Turbo Brilliance 系统含 27 推理与 27 instruct 模式及 15 个 AI Construct，可在提示词、API 或 VLLM 中即时切换，instruct 模式 0 thinking token；量化由 GSQ-RCO 完成，可在 12GB 显存 GPU 上运行，RTX6000（96GB）估计达 150 t/s。
alexwkleung 用 Heretic 对 XHToken/Spark-X2.6-4B（dense 4.1B 思考模型）做定向消融，发布 abliterated GGUF 权重，并用 llama.cpp 量化出 Q4_K_M 到 Q8_0 多档。与官方 Q8_0 对照：拒绝率从 43/44 降到 0/44（thinking 开与关均如此），GSM8K n=100 为 88/100 对 91/100，McNemar p=0.45 未检出数学回归；代价是思考开启时平均约 5k tokens（stock 529），部分超出 8192 预算，无拒绝系统提示可将其减半。
推荐理由：原文给出与官方 Q8_0 逐位对照的拒绝率、GSM8K 和思考开销数据，可据此判断这个去对齐版本的实际代价。
thelogicalgate 基于 InternScience/Sage-A1.5 发布网络安全向拒绝消融（abliteration）版本，打包为 Apple Silicon 原生 MLX 8-bit 量化并保留原训练的 MoE 多 token 预测（MTP）草稿头。校准使用 mlabonne/harmful_behaviors 与 harmless_alpaca 各 128 条提示，在 8–31 层以强度 0.75 修改 72 个输出投影模块，路由权重与 QKV 投影未改动；12 条非工具冒烟提示中拒绝启发式检出基线 2 次、修改版 0 次，本地 Python 反序列化与 IDOR PoC 由基线拒绝变为可产出脚本。
推荐理由：原文给出了激活校准方向、修改层与拒绝率前后对比等实测细节，读者可据此判断这个去对齐版本的实际改动幅度。
KittenML 发布 Kitten-TTS 2 的代码与权重，称其为首个 1.58-bit（三值）TTS 模型，1.7B 参数，仅靠 CPU 即可实时生成。支持少于 5 秒参考音频的 zero-shot 声音克隆、20+ 语言跨语言克隆，以及重音与情感表达控制；代码和权重开源，提供 GitHub 与 Hugging Face 链接，定位为 ElevenLabs 的开源替代。
推荐理由：1.58-bit 三值权重让这个 1.7B TTS 只靠 CPU 就能实时运行，对没有 GPU 的本地部署用户是可查的开源替代选项。
Reddit 用户 /u/Happy_Guitar3521 分享一种面向 Q8 量化模型放不进显存场景的投机解码思路：GPU 上只保留 2-bit 副本用于起草候选 token 树，残差 W−Ŵ 以 6/7/8-bit 存在系统内存，由 CPU 与 GPU 分工完成验证，仅激活值跨 PCIe 传输。实测该验证器比 Q8_0 更接近 bf16（KL 约为一半），2-bit 起草器读取验证器精确 KV 后，在 Gemma 4 31B 上每次验证接受 token 数比 Google 官方 Gemma 4 drafter 高 25–30%；AVX-512 CPU 内核使一次验证 16 个 token 的成本接近验证 1 个。
推荐理由：作者给出完整的量化拆分方案和 KL、接受率等实测数据，还附上可复现的 POC 配方与失败经验，方便他人在此基础上继续实验。
nchapman 在 Hugging Face 发布 Huihui-Qwen3.5-9B-abliterated-W4A16-GPTQ 模型，提供 Transformers、vLLM、SGLang 及 Docker 部署的官方用法示例，支持 image-text-to-text 多模态推理，并可通过 OpenAI 兼容 API 调用。
Reddit 用户 /u/Numerous-Ad6217 分享了围绕 MoE 模型搭建预算型本地推理工作站的思路：用单张 32 GB VRAM 的 AMD Radeon AI PRO R9700 加廉价 DDR4 ECC RAM 存放闲置专家。作者对多个主流开源 MoE 模型在 Q4 和 Q8 量化下的活跃与闲置参数量作图，拟合出约 0.0565 的斜率，即每 1 GB 活跃 VRAM 权重对应约 18 GB 闲置 RAM 权重；据此 384 GB DDR4 配 32 GB VRAM 是其配置的平衡点，可给 KV cache 和运行时开销留出余量，而升到 512 GB RAM 会逼近 GPU 上限。作者提醒实际结果取决于模型架构、专家路由、缓存效率和推理后端。
推荐理由：作者用主流开源 MoE 模型拟合出活跃与闲置权重约 1:18 的经验比例，可据此判断 RAM 与 VRAM 的加配时机。
Reddit 用户 /u/returnity 介绍 Recursive Flint 编码智能体模型，称其为 40B 参数、2.5B 激活的模型，在 TerminalBench 2.1 和 SWE-bench Pro v2 上大幅超越 Qwen3.6-35B-A3B，其余所选基准持平或更好。模型采用 3:1 SWA 与全注意力比例，支持 262k 上下文，已提供 Recursive 博客、WIRED 报道、llama.cpp PR 和 Unsloth GGUFs。作者正在下载，几天后公布实测基准；更新称初步反馈显示 Ornith-1.5 仍是该级别标准，情况不如预期乐观。
Nefarious1313 在 Hugging Face 发布 Huihui-Qwen3.5-4B-abliterated 的 GGUF 静态量化版本，并提供多模态补充文件 mmproj-Q8_0 与 mmproj-f16。量化档位从 Q2_K（1.9GB）到 f16（8.5GB）共 13 种，其中 Q4_K_S（2.7GB）和 Q4_K_M（2.8GB）速度快、被推荐使用，Q8_0（4.6GB）质量最佳。
GitHub 开源项目 llm-extraction-finetune 用 QLoRA（LoRA + PEFT + Unsloth 4 bit 量化）微调 Qwen2.5-3B-Instruct，抽取法/英/美多币种发票为结构化 JSON。v3 报告称 JSON 有效率 100%、Exact Match 95%。数据集含 600 条合成发票文本及 600 张 PNG，按 Train 480/Val 60/Test 60 划分，并用 Pydantic v2 做输出校验与金额一致性检查。
一位 Reddit r/LocalLLaMA 用户将装上第 4 张 RTX 3090，考虑把日常模型换成 Qwen3.8 Flash Next，询问该配置下应选哪个推理引擎。其目前用 vLLM 跑 Qwen3.8-27b，速度约 100+ tps、prefill 约 3000 tps；首选引擎 Strata 在 96GB VRAM 下或可以 4-bit 将整个模型装入显存。