新闻、仓库与研究，按时间排列。
dan9070 在 Hugging Face 上发布 abliterated 版模型 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated-IQ3_S-Q8PLE，提供 Q8_0 等量化版本。该模型可通过 llama.cpp 本地运行，支持 OpenAI 兼容服务器与终端推理，并可在 Ollama、Docker Model Runner、Lemonade 等工具中直接调用。
AtomicChat 在 Hugging Face 发布 Ornith 1.5 122B 的去拒绝 GGUF 量化版，通过在 48 个 block 中移除残差流上的拒绝方向实现。英文拒绝率从 93.8% 降至 1.2%，俄语从 43% 降至 0%，MMLU 从 83.65% 到 83.90% 基本不变；提供 AD-IQ4_XS_S（71.2 GB）等多种 Atomic Dynamic 量化，方法遵循 Arditi et al. 2024 的单方向拒绝机制研究。
推荐理由：原文给出拒绝率前后对比、MMLU 复测和 KL 数据，读者可据此判断这个去对齐版本的实际代价。
Hugging Face 上发布 Qwen-Image-2.1 Uncensored 量化模型，基于 Qwen/Qwen-Image-2.1 原始权重，提供 GGUF、Safetensors 和 MLX 格式，其中 Q4_K_M GGUF 为 4.60 GB 且被推荐为体积与质量的最佳平衡，MLX 格式针对 Apple Silicon 优化。该版本无内置安全检查或内容过滤，可直接生成成人、NSFW 及敏感图像，需配合 ComfyUI 与 ComfyUI-GGUF 使用，文本编码器 qwen3vl_8b_int8_convrot 可卸载到系统内存以节省 9–17 GB 显存。
HxT9 在 Hugging Face 上架 Qwen3.8-Flash-Next-Uncensored 的 GGUF 量化版本，采用 Q4_K_M 与 Ngram-Q8_0 格式。该模型暂无模型卡，也未由任何 Inference Provider 部署，用户可登录添加硬件兼容信息。
Spark-X2.6-4B 发布，架构与 Spark-X2.5-4B 完全相同，能力提升来自改进的后训练，在编程、智能体、长上下文、多语言和推理等方面显著增强。该模型在同等规模开源模型中达到 SOTA，可匹敌约 9B 参数的模型，并提供 none、low、high 三档可配置思考预算以平衡推理质量、延迟与推理成本，面向端侧部署。
BattleGhost 发布 dealignai/MiMo-V2.6-Flash-RL-UNCENSORED 的实验性 GGUF 量化版本，默认 IQ2_XXS、47 个专家 FFN down 投影用 IQ2_S，4 分片共 91.70 GB，MIT 许可。WikiText-2 测试中相对 MXFP4 参考困惑度升至 6.539（高 37.4%），优于全 IQ2_XXS 版本的 6.886。该版本面向 llama.cpp 本地推理，不新增安全训练或内容审核。
作者发布自研纯 C 推理引擎 Pantheon（基于 Foundry 库），CUDA 后端面向 Kepler 架构，在 Tesla K80 上实测 Qwen3.6-35B-A3B 与 Nex-N2-mini（Q3_K_M）解码约 21 tok/s，prompt 读取 110-120 tok/s。权重驻留显存使 8 GB 主机即可运行，内置 prefix caching，opencode 二轮 14k token 系统提示从 170 秒降到 9 秒；短板是 prefill，30k token 代码库每次请求需数分钟。提供安装脚本与 OpenAI 兼容 API，代码在 git.teamide.dev，模型权重已上传 Hugging Face。
推荐理由：作者给出实测吞吐、prompt 长度衰减和 prefill 短板等具体数据，可据此评估老卡跑 MoE 的真实可用性。
用户在单张 RTX PRO 6000 上用 SGLang 部署 Nemotron 3.5 Super，实现 3M token 池，可支持 4 个并发请求、每个约 750k tokens。相比 Qwen3.8-Flash-Next（约 450k token 池），它不占用系统内存、推理速度略快（150-250 tps vs 130-230 tps），并原生支持 1M 上下文。
一位 Reddit 用户拥有 3060 Ti 和 64GB DDR4 内存，受 8B 模型 VRAM 限制，询问能否通过 offloading 到 RAM 来运行 12B 或更大模型，用于故事生成和角色扮演，目前使用 kobold cpp 并考虑尝试 SillyTavern。
一位 Reddit r/LocalLLaMA 用户在 RTX 3080（10GB）+ RTX 3060（12GB）双卡上用 llama-server 运行 Qwen3.8-27B-pi Q4_K_M 量化模型，配合 MTP 草稿推理实现 30-40 tok/s 生成速度，平均 MTP 接受率约 0.75，上下文 75776。该配置用于 Kotlin/Android 的 agentic coding，作者称 dflash2 草稿反而比 MTP 更慢，并征求进一步优化建议。
Agnes AI 发布 agnes-3.0-qwen，一款约 180B 参数（512 专家、每 token 激活 10 个）的混合注意力 MoE 多模态推理模型，采用 Qwen Community License 1.0。该模型在 τ³-Banking 位列对比组第一，Terminal-Bench 2.1 距最佳模型约一分，IFBench 上超过 GPT-5.6 Sol (Max) 和 Claude Opus 4.8 (Max)。支持 1,048,576 token 上下文、65,536 最大输出、文本/图像/视频输入、工具调用及 xhigh/medium/low 三档推理力度。
这是一个 MEng 论文的复现包，实证研究 4-bit NF4 QLoRA、8-bit、16-bit bf16 LoRA 三种位宽与 LoRA rank（r ∈ {8, 16, 32}）在微调 deepseek-coder-6.7b-instruct 修复 Java 缺陷时对正确性、GPU 显存、速度和能耗的权衡。实验基于 CodeXGLUE Code Refinement（10,000 训练 / 1,000 验证 / 1,000 测试对）和 HumanEvalFix（164 Python + 164 Java 缺陷），在单张 24 GB GPU 上进行。目前数据管线和指标已验证，训练与评测脚本仍在开发中。
ZisIsNotZis 在 GitHub 发布的 tiny-llm-eval-factors 是一个可复现的研究工作台，用于测量本地大语言模型的量化、模型规模、解码协议与 benchmark 行为等因素。`./reproduce.sh` 全流程在本机干净 clone、12 核 CPU、无 GPU 环境实测约 41.1/49.9/60.2 秒，可从 experiments.sqlite 逐字节重建 report.html，CJK 字体缺失或版本不符时构建直接失败。仓库分发 337 个逐题评测产物（3.45 MB）供 fresh clone 验证，但 .gguf 模型权重字节已丢失，评测运行本身也需 GPU 与模型文件。
Hugging Face 上线 Roland2531 的 Ornith-1.5-9B-uncensored-ROCmI4-Q6IO-A8 模型仓库，README 目前为空。该模型未被任何 Inference Provider 部署，下载量暂未统计。
一位 r/LocalLLaMA 用户抱怨 Qwen 3.8 Flash Next 拒绝执行某些任务（如查找代码漏洞、扫描网络相关内容），询问哪里有无审查版 GGUF 量化，且需保留全精度 BF16 N-gram；其目前使用的是 unsloth 量化版本。
Hugging Face 官方宣布通过 TorchTPU 原生 PyTorch 后端，Transformers、Diffusers 和 Kernels 无需 torch_xla 或 JAX 即可原生运行在 TPU 上，用 device_map="tpu" 即可加载模型。附 Pallas kernel 与 torch.compile 支持，batch 64 下 Qwen3-30B-A3B 解码提速 21.5×、Gemma 4 26B-A4B 提速 12.8×；transformers 测试套件在 TPU 上 96.5% 通过，已报告 34 个问题并修复 19 个。
推荐理由：官方给出了从 torch_xla 迁移到原生 PyTorch 后端的具体写法，还附带 kernel 加速倍数和 CI 通过率等实测数据。
Hugging Face 上发布 edp1096/Huihui-DeepSeek-V4-Flash-Vision-Exp-abliterated-exl3，基于 Turboderp EXL3 底座与 Huihui GGUF 供体张量，保留路由专家、视觉与 MTP，替换 18 个注意力输出 B 和 18 个共享专家下投影（Q8_0 解码为 F16）。提供 2.04bpw/75.97 GiB、2.27bpw/83.47 GiB、2.52bpw/94.08 GiB 三个分支，实测移植后上下文 129,996 至 1,046,999，各分支按 1M 窗口配置，测试引擎为 ExLlamaV3 1.5.4 与 TabbyAPI。
burningfeet 发布基于 HauhauCS/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive 的 Genesis 版 GGUF 模型，采用 Genesis 后训练数据再生与校准算法，通过基于 Marchenko–Pastur 分布的自定义 SVD 修复张量噪声，保留 99% 信号与学习梯度，无需重新训练。该 27B 稠密模型原生支持 262,144 token 上下文（可扩展至 1,000,000），支持文本、图像和视频理解，推荐 NVFP4 量化，兼容 llama.cpp、LM Studio、koboldcpp 等 GGUF 运行时。
burningfeet 发布基于 HauhauCS/Qwen3.6-35B-A3B-Uncensored 的 Genesis Hermes GGUF 模型，将 DJLougen Hermes 微调中约 2k 块 FFN 专家张量数据迁移到无审查基座。该模型采用 Genesis 后训练张量修复算法，基于 Marchenko–Pastur 分布降噪，不涉及再训练。总参数 35B、每 token 激活约 3B（MoE，256 专家），原生 262K 上下文可经 YaRN 扩展至 1M，推荐 NVFP4 或 APEX 量化。
huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated 的 Orinfer E8P Q2A8 量化版本面向 Jetson AGX Orin 64GB 部署，采用近 2-bit E8P 编码与旋转处理，模型目录约 51.2 GB，只读权重约 34.52 GiB。支持文本、多图、thinking、prefix caching 与最多 7 drafts 的原生 MTP，上下文容量 262,144 tokens；实测 8,192 输入 prefill 达 809 tokens/s，Python 代码生成解码 53.84 tokens/s。权重采用 Qwen Community License 1.0，Orinfer 代码为 LGPL-3.0-or-later。
AtomicChat 将 DeepSeek-V4.1-Flash-1017 中的拒绝方向从发布权重中投影移除，烘焙成 GGUF 并附 rank-1 LoRA 适配器。实测 JailbreakBench 英文拒绝率 91.4%→0.0%，俄语 69.0%→0.0%，XSTest 8.0%→0.4%，MMLU 86.0%→86.6%（p=0.69）；3.58bpw-Q2_K 版占盘 334.8 GB，Engram n-gram 表可留在 SSD。需未合并的 llama.cpp 支持构建，暂不能在 Atomic Chat 中运行。
同一新闻，精选展示《AtomicChat 发布 DeepSeek-V4.1-Flash-1017 无拒绝版 GGUF 权重》
/u/OhGeeLIVE 发布 Geezuz kernel，将 L-Forster 的单卡 megakernel 分叉为双卡版本，在两块功耗限制 280W 的 RTX 3090 上以 Q4_K_M 跑 Qwen3.8-27B 达 190 tok/s，8 并发时总吞吐 622 tok/s。整个前向传播运行在单个持久 CUDA kernel 中，双卡经 PCIe 直接交换部分结果，单周期解码最多 8 个请求，并用模型自身 MTP head 做投机解码；与 llama.cpp 相比平均 164 tok/s、代码场景 214 tok/s，KL 散度显示输出质量相当。
推荐理由：作者给出与 llama.cpp 和 vLLM 同条件对比的完整吞吐数据，并说明实现原理与编译成本，便于读者评估是否适用。
Dyluhn 于 2026-10-20 发布 orcarouter/Qwen3.8-Flash-Next-Uncensored 的 EXL3 量化版本，总体 4.03 bpw，采用 exllamav3 1.5.2 与 turboderp 的 4.05 设置，所有 routed expert 压至 4 bpw、attention 6 bpw。模型引入层内共享输入 sign/scale 向量（suh）以支持开发中的 radiance-exl3 内核，n-gram 表沿用 turboderp 版本且与基座逐字节一致。该仓库未在 exllamav3 中实测，质量未测量；许可证为 Qwen Community License 1.0。
一个基于 Inspect (inspect-ai) 的个人基准项目，测试小型本地 LLM 将 MATLAB 代码翻译为 Python 的能力，在作者自己机器上运行，模型由 llama.cpp 的 llama-server 提供。主模型为 OLMo 3 7B Instruct，对比模型为 OLMo 3 7B Think（均为 Q8_0 GGUF），答案键由 GNU Octave 生成，评测指标包括通过率、失败模式、校准度（Brier 分数）和歧义处理。五个试点任务、评测框架和 Inspect 集成已构建并测试完成，尚未在模型上正式运行。
Ava-AgentOne 发布 ollama-intel，一个预配置 Docker 容器，通过 IPEX-LLM 的 SYCL 后端把全部模型层卸载到 Intel 核显（Meteor Lake、Arrow Lake、Arc）上运行 Ollama，无需独立显卡，兼容 Open WebUI 等 Ollama 客户端，主打 Unraid 与迷你主机用户。在 Core Ultra 7 155H 配 64GB 内存上实测，4B 模型约 15+ tok/s，7-8B 约 8-12 tok/s，14B+ 约 4-6 tok/s；镜像每周经 GitHub Actions 重建，NPU 推理暂不支持。
jpsanders 发布 pascal-llm-stack 仓库，给出在 Ubuntu 26.04.1、kernel 7.0 上让 GTX 1060 Mobile 6 GB 运行本地 LLM 的完整脚本，包括给 NVIDIA 570 驱动打 kernel 7.0 补丁、用 CUDA 12.8 runfile 避开 apt 的驱动破坏、回退 torch 2.7.1 获取 Pascal 内核，以及用三个 cmake 参数编译 llama.cpp。
推荐理由：作者在 GTX 1060 上逐层修通驱动、CUDA 和 PyTorch 并给出 llama-bench 实测，方法可迁移到其他老卡本地部署场景。
/u/C0smo777 在 EPYC 9575F + 768 GB DDR5 + 4x RTX 3090 上实测 Unsloth 的 DeepSeek-V4.1-Flash-1017 UD-Q4_K_XL 量化版，用 llama.cpp PR #30817 构建，散文生成从 12.6 提升到 25.4 tok/s，代码达 39.3 tok/s。关键调优包括用 --load-mode none --lazy-mode off 全量载入 RAM、每物理核一线程、-ub 2048 使 prompt 处理快约 35%；DSpark Q8_0 投机解码在代码上约 80% 接受率、速度翻倍，散文仅约 30%。作者还记录了 --fit 无法为 drafter 正确分配显存、与 --override-tensor 冲突等坑。
推荐理由：作者实测给出了四组配置的逐项对比数据，包括 DSpark 投机解码在代码与散文上的接受率差异，可复现性较强。
VaultAI 在 Hugging Face 发布基于 Qwen/Qwen3.8-Flash-Next 的去审查（abliterated）GGUF 模型，采用 huihui-ai 的 abliterated 构建与 unsloth UD-Q4_K_XL 量化并合并为单文件。在 100 条提示词的盲评测试中，质量得分 4.61 对 4.44，容错性 4.86 对 3.83，0 次拒答，沿用 Qwen 许可证（含商用条款）。
转引 TechPowerUp 报道：AMD Ryzen AI Halo 迷你主机定价 $4k，搭载 Ryzen AI Max+ 395 和 128GB 统一内存，可运行 32GB 显存 GPU 装不下的大模型；对比 NVIDIA DGX Spark 的 128GB 版 $7k，后者在 time-to-first-token、CUDA 集成和 fp8/fp4 支持上更快更全，但 Halo 支持 Windows 和 Linux、完全本地私有、无订阅和云依赖，代价是内存带宽、待机风扇噪音和缺乏高级精度格式。作者还实测用 128GB Strix Halo 机器加载 qwen3.8-flash，通过 codex 配合 sumus 做本地多文件重构，把整个仓库和模型同时放进统一内存实现离线工作。
ISTA-DASLab 演示用从 SSD 流式读取的预填充模型恢复 Qwen3.8-27b 低量化的精度，同时保持低显存占用和快速解码。上下文超过约 4k 时速度相比不用预填充模型无损失，需 Nvidia Blackwell GPU 运行，图示为 MMLU-Pro 准确率，代码已提交至 HuggingFace。
Reddit r/LocalLLaMA 用户反馈，ukisai/Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-GGUF:IQ3_S 在 Basalt 上运行时工具调用失败明显增多，最多连续四五次失败才成功，而 Qwen3.8-27B 在 4bpw 以上量化及 llama.cpp、vLLM、exllamav3、NInfer 引擎下几乎无失败。作者计划用 BFCL v3 或 v4 测试不同配置以收集数据。
BigMoeOnEdge 作者发布自适应流式 Planner，作为 llama.cpp 之上的资源调度层，在手机、Mac、Windows 笔记本等设备上运行远超内存的 MoE 模型，并提供 OpenAI 兼容本地服务器。实测 Qwen3.6-35B-A3B 在 12GB Android 手机上解码 10 tok/s、NPU prefill 100-300+ tok/s，16GB Mac 上 Planner 将解码从 7 提升到 25-30 tok/s、2000-token prompt 从 21 秒降到 3.4 秒；DeepSeek V4 Flash 284B 在 12GB 手机上 1 tok/s。作者考虑向 llama.cpp 提 PR 集成。
作者总结了自己近期通过 CLI 使用 lemonade server 时最常用的几条命令，涵盖模型拉取、配置和基准测试（benchmark）操作，并整理成文章分享，同时邀请读者补充各自偏好的命令。
Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 对 MPS 后端的改进：新增 float8_e4m3fn 张量与 F.scaled_mm，MoE 模型解码比 2.14 提速 5 到 6.5 倍，M3 Ultra 上 Qwen3.6-35B-A3B 从 9.4 升到 61.3 tokens/s，LFM2.5-8B-A1B 从 23.6 升到 123.6 tokens/s。线性层走专用 GEMV 内核（几何平均 1.23 倍），词表 softmax 约 8 倍加速；Wan2.2 视频 VAE 解码的驱动内存峰值从约 270 GiB 降到 8 GiB，并修复了 Qwen-Image-2.1 VAE 编码器在 MPS 上损坏图像的问题。
推荐理由：Hugging Face PyTorch 团队亲述 MPS 后端改进细节，给出各模型的实测吞吐数字，Mac 上跑模型的读者可以对照评估升级收益。
yushen100 在 Hugging Face 发布基于 Qwen3.8-27B 的多阶段微调 GGUF 量化版，主打去对齐与思考 token 缩减（约 1/2 至 1/10），8bit ARC-C 735、ARC-E 882，4bit ARC-C 719，均高于原版 Qwen3.8-27B（8bit ARC-C 0.591）。去对齐用 Heretic v1.2.0+ 的 ARA 方法，Stage 1 拒绝数从 99/100 降到 0/100（KL 散度 0.0535），Stage 2 后为 11/100、KL 0.0025。
同一新闻，精选展示《TopherAU 发布 Qwen3.8-27B TURBO 去审查 GGUF 微调版，ARC-C 达 735》
mradermacher 在 Hugging Face 上提供 LFM2.5-24B-A2B-uncensored 的 i1-GGUF 量化版本，示例量化为 Q2_K。该模型可通过 llama.cpp 在本地运行，支持 llama serve 启动 OpenAI 兼容服务器或 llama cli 直接推理，也可用 Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具加载，并可接入 Pi、Hermes、OpenClaw 等 Agent。
RTP-LLM 是阿里巴巴基础模型推理团队开发的 LLM 推理加速引擎，已在淘宝、天猫、闲鱼、菜鸟、高德、饿了么、AE 和 Lazada 等业务中广泛使用。2025 年 9 月发布 0.2.0 版本，增强性能并新增功能；2025 年 1 月支持 Prefill/Decode 分离，并在 Yitian ARM CPU 上支持 Qwen 系列模型与 bert 嵌入模型。引擎采用 PagedAttention、FlashAttention、FlashDecoding 等 CUDA kernel，支持 WeightOnly INT8/INT4 量化、自适应 KVCache 量化、Speculative Decoding，以及多机多 GPU 张量并行和单实例多 LoRA 服务。
DavidTimar1 发布开源工具 GPUGate（AGPLv3），在 RunPod 和 Verda 上列出可租 GPU 机器与实时价格，一键租用后用 vLLM（RunPod 上 GGUF 模型用 llama.cpp）启动模型服务，并通过固定本地地址 http://<host>:8719/p/<project>/v1 转发 OpenAI 和 Anthropic API 请求，工具看不到机器和密钥。支持空闲或故障时自动销毁机器、在允许范围内自动迁移到更便宜的机器，并统计 token 与费用。作者声明这是业余项目，无维护承诺，租用会产生真实费用，使用前应先读代码。
lodestones 在 Hugging Face 发布 Kromoss，是对 MOSS-Image-Base 的全参微调（1024 px，704k 训练图，发布 EMA 权重），架构与 MOSS-Image-SFT 相同、可直接替换，主要修复 Base 模型的模糊问题。仓库同时提供 8-steps-dmd-lora.safetensors（8 步、CFG 1、无负分支的 DMD 蒸馏 turbo LoRA）、int8 ConvRot 量化单文件（5.4 GB）、ComfyUI 原生支持与转换脚本，权重采用 Apache 2.0 许可。PartiPrompts（100 提示词，CLIP ViT-L/14）显示 Kromoss + LoRA 得分 27.82，高于 MOSS-Image-Base 的 27.19。
推荐理由：这是官方模型卡，给出了完整采样设置、ComfyUI 与 diffusers 用法以及 PartiPrompts 对比数字，便于直接上手和评估效果。
A0Sh 将 QuixiAI/WizardLM-7B-Uncensored 通过 llama.cpp 的 GGUF-my-repo 转换为 Q2_K 量化 GGUF 格式并发布在 Hugging Face。该模型可用 llama-cli 或 llama-server 直接加载，server 示例使用 -c 2048 上下文长度，并支持通过 LLAMA_CUDA=1 等编译选项在 Nvidia GPU 上运行。