新闻、仓库与研究，按时间排列。
XHToken 发布 Spark-X2.6-4B，是基于 Spark-X2.5-4B 的端侧通用语言模型，架构不变，通过改进后训练提升编码、Agent、长上下文、多语言和推理能力。该模型在同级开源模型中达到 SOTA，可匹敌约 9B 参数模型，支持 none/low/high 三档可控思考预算，最大上下文长度 1,048,576 tokens。模型权重已在 Hugging Face 开源，支持 Transformers 和 SGLang（含 NVIDIA GPU 与 Ascend NPU）推理部署。
nofacedfl 在 Hugging Face 发布 GLM-5.3 Uncensored Maya 量化包，将 Z.AI 的 753B MoE 模型用 GPTQ 压到约 2.5 bit，配合 Project Maya 的 GLM-5.3 移植版引擎运行。在 7 张 GPU（5× RTX 4090 48 GB + 2× A100 40 GB）上达 43–57 tokens/s，支持 512K 上下文，JailbreakBench 拒绝率从原版 39/40 降到 2/40，其中量化后为 6/40，再通过 78 层×3 方向的拒绝向量在运行时投影移除降至 2/40；对 FP8 的 KL 为 0.204、top-1 一致率 88.4%。
推荐理由：原文给出完整的去对齐实现路径和 JailbreakBench 拒绝率前后对比，还附量化精度损失数据，可复现可核查。
Hugging Face 上发布了 MOSS-Image 的 ComfyUI 重打包模型文件。包含 4 个 diffusion_models 文件（base 与 sft 的 bf16 及 int8_convrot 版本）、Qwen3.5-9B 文本编码器（w4a8_gptq 与 int8_convrot 两种）以及 flux2-vae.safetensors，按 ComfyUI 目录结构放置即可使用。
Hugging Face 上发布 Qwen3.8-Flash-Next-Uncensored-NVFP4 的 GB10 构建镜像（Apache-2.0），可在 2× DGX Spark（GB10，TP=2）上用 vLLM 部署，支持 1M 上下文（YaRN ×4，max_position_embeddings 1048576），KV 池 3.76M tokens。实测对比 dev461 构建：prefill 8k–131k 提升 9–12.5%（约 3.7k tok/s），1M token TTFT 从 411s 降至 365s，KV 容量 ×1.95，质量 97.75% top-1 一致、NLL +0.019%。
Unsloth 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 Unsloth Dynamic 3.0 GGUF 量化版，1-bit 可在 128GB+ 内存设备运行，3-bit 需 256GB，全精度需 320GB。该模型为 DeepSeek-V4.1-Flash 的小幅更新，官方基准显示推理、编码、Agent 和视觉任务均有提升，如 Terminal-Bench 4.0 得分 42.3 对上一版 31.2；模型采用 MIT 许可，支持 1M token 上下文，需使用 llama.cpp PR 或 Unsloth Desktop 运行，prompt 编码由 encoding.py 与 deepseek-recipe 工具库提供。
推荐理由：官方模型卡附上了与 DeepSeek-V4.1-Flash 及多个竞品的具体基准对比，以及量化档位对应的内存需求，可据此评估该版本的实际收益。
vedevpatel 发布 rajaykumar12959/qwen3.8-27b-abliterated 的 imatrix GGUF 量化，该模型移除了拒绝行为，可回答原版 Qwen3.8 拒答的请求，目标在 16 GB 显存上用 llama.cpp 运行。每个量化均与 BF16 原版对比：MMLU-Pro（4200 题、5-shot、thinking off）差异均在 95% 置信区间内不显著，BF16 为 79.60%；WikiText-2 KL 散度显示 IQ3_M 漂移比 4-bit 量化高 3.3–3.8 倍。
推荐理由：作者对每个量化版本都给出了与 BF16 原版的 MMLU-Pro 和 KL 散度对比，还实测了 16 GB 显存下的上下文与速度表现。
论文提出让手机 NPU 承担 LoRA 微调中全部三次冻结权重乘法的系统，训练图、适配器和优化器留在 CPU，并复用常驻权重切片和反量化器实现输入梯度计算。系统按梯度敏感度选择精度并为 FP16 输出加逐行范围保护，支持可恢复执行和热节流以作为后台任务运行，在两款 Qualcomm Snapdragon 平台上用 Qwen 和 Llama 四个模型、夜间个性化工作负载和 LaMP-2 基准做了评估。
推荐理由：论文给出在手机 NPU 上跑通 LoRA 一阶训练的系统做法，涉及输入梯度实现、精度选择和端侧个性化工作负载，思路可迁移。
Hugging Face 上发布 Xing4.0-29B-A4B 的 Abliterated 版 GGUF 量化，基于 huihui-ai/Huihui-Xing4.0-29B-A4B-abliterated，采用逐 tensor 混合精度布局，文件 13.76 GB（3.42 BPW），WikiText-2 PPL 7.7238，较 BF16 源（7.3060）仅上升 5.71%，达 Q5_K_M 级质量。该模型为 29B 总参数、每 token 约 4B 激活的 MoE 架构，含 mHC、MLA 与 MTP，原生 256K 上下文，可扩展至 512K，适合消费级 GPU 与 RAM/GPU 混合部署。
Hugging Face 上线 Sindexter/qwen2.5-7b-abliterated-gguf 模型页面，提供 Q3_K_M 量化版本。用户可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或终端直接推理，也支持 Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具运行，并可接入 Pi、Hermes、OpenClaw 等 Agent 使用。
论文介绍 Muse Glimmer，一个面向消费级硬件上自主智能体任务的开源 30B 因果语言模型，集多步推理、工具调用与失败恢复于一体，支持文本与图像输入，训练数据覆盖一百多种语言，量化至约 4-bit 可单 GPU 本地推理。作者称其在工具调用、多步规划和智能体任务完成上优于同尺寸的 Gemma4-31B 与 Qwen3.6-27B，模型以 Apache 2.0 许可发布。
推荐理由：论文给出30B级端侧Agent模型在同尺寸模型上的基准对比，对关注本地部署智能体的人有参考价值。
webmp3/Sakura-Jais-3-7B-Uncensored-GGUF 现已登陆 Hugging Face，提供 Q4_K_M 等 GGUF 量化版本。该模型可通过 llama.cpp、vLLM、Ollama、Docker Model Runner 等工具本地运行，支持启动 OpenAI 兼容 API 服务器或在终端直接推理，也可接入 LM Studio、Jan、Pi、Hermes、OpenClaw 等应用。
VicTeam Agency 基于 Alibaba Qwen 的 Qwen3.8-27B（Apache 2.0）发布去审查版 GGUF 模型，采用 huihui-ai 社区的 abliteration 去除拒答、Unsloth 动态量化，面向单显卡本地智能体开发。提供 Q4_K_XL（约 17.4 GB，质量优先）和 IQ4_XS（约 14.4 GB，可完整装入 16 GB 显存、速度更快）两种量化，可通过 llama.cpp（llama-server --jinja）和 llama-swap 运行。
Wei Wang 在 arXiv 发布 FUTRANSFORMER，一个面向 NVIDIA Hopper GPU 的 Llama 风格 Transformer 推理 CUDA 实现，prefill 用 FP8、decode 用 INT4 权重和 INT4 KV-cache，并采用块对角 Hadamard 变换降低缓存量化误差。
推荐理由：论文给出 Llama 推理在 H100 上 FP8 prefill 与 INT4 decode 的具体实现和量化精度代价，数字可核对、方法可参考。
LocalIntent 是一种面向本地部署 LLM 的结果导向提示方法，将请求分流到普通命令分支或持久规则分支，并进行确定性校验。在 2B-9B 参数的 Gemma 和 Qwen 模型上测试，规则生成方面意图理解从 26.4% 提升至 80.6%，规则模式正确率从 49.1% 提升至 98.6%；非持久请求的提升较小，意图理解从 39.6% 升至 53.2%。该方法整体优于 Monolithic 和通用两阶段提示，但澄清/模式正确率仍依赖具体模型。
Reflection 首个开放权重模型 Beam 于10月16日发布，Ollama 作为 day-zero 合作伙伴限时免费提供，Beam 端点全程零数据保留（ZDR）。Beam 是 MoE 模型，总参数约501B、每 token 激活23B，上下文窗口100万 token，采用 Apache 2.0 许可，面向软件工程、推理和长程 Agent 任务，可通过 ollama run beam:cloud 或 Claude Code、Codex、OpenCode 调用。
推荐理由：官方公告同时给出与 Kimi K3、GLM 5.3 等模型的 Agent Coding 跑分对照表，读者可直接比较 Beam 在各编码基准上的位置。
Hugging Face 上架 webmp3/Sakura-FLUX.3-Image-Klein-PromptUpsampler-Uncensored-GGUF 模型，提供 Q4_K_M 量化版本。页面给出 llama.cpp、vLLM、Ollama、Docker Model Runner、Lemonade 等多种本地部署方式，并支持通过 OpenAI 兼容 API 调用。
Orca 发布 27B 视觉语言推理模型 OrcaCyber Nano 1.0，主打防御安全场景，以 GGUF 格式开源，可在本地硬件离线运行，支持逆向工程、漏洞分析、安全代码审查、事件分诊与视觉输入。模型上下文长度 262,144 tokens，内置 MTP 投机解码并支持 DFlash2 draft 文件，主权重 15.70 GB，另有适配 16 GB 显卡的 12.99 GB 版本；基准成绩包括 MATH-500 98.60%、AIME 2025 96.23%、SWE-bench 78.4%，可直接在 llama.cpp 中加载。
PocketTSLM 是 OpenTSLM SoftPrompt 时间序列语言模型的移动端部署方案，可将编码的时间序列窗口作为嵌入注入，在全流程于消费级手机上运行。基准测试显示软提示路径的时间序列 token 用量减少约 12 倍，可处理 30 秒 Sleep-EDF 脑电片与 1,000 样本（10 s）12 导联 ECG-QA 心电片，而文本序列化基线在更长窗口下超出手机上下文或内存预算。Swift 移植经数值一致性协议验证与 Python 参考实现一致，推理全程不传输健康数据。
论文提出 BiShield-TEE，针对端侧 TEE 部署 LLM 中仅混淆输出维度的权重保护方法发现 Solution Determinacy Property（SDP）漏洞，使 GroupCover 和 ArrowCloak 等代表性方法的攻击准确率超过完全防护黑盒基线 2.4 倍并近乎完整恢复模型。BiShield-TEE 通过输入输出双向联合混淆引入 Ambiguous Solutions，将攻击准确率压回黑盒基线水平，同时在真实设备上推理效率高于已有方法，代码已开源。
DollasAndSpence 发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本，提供 GGUF、Safetensors 和 MLX 格式，支持 ComfyUI 本地图像生成。该版本无内置安全检查器，可直接生成成人及 NSFW 内容；推荐 GGUF 使用 Q4_K_M（4.60 GB），MLX 格式针对 Apple Silicon 优化，文本编码器可卸载至系统内存以节省 9–17 GB VRAM。
iAcloud 发布 huihui-ai/Huihui-Qwen3.8-27B-abliterated 的 RBLN 预编译版本，使用 optimum-rbln 0.11.2 针对 16 块 Rebellions RBLN-CA25 NPU 编译，支持 262,144 上下文长度和 batch-1 解码，编译耗时 990.9 秒，产物约 55.8 GiB。该版本为编译验证版而非推理基准，运行时加载、生成与长上下文精度尚未测试，需 RBLN NPU 和 RBLN SDK，采用 Apache-2.0 许可。
JMingo 发布的 gemma-4-26B-A4B-it-qat-uncensored-GGUF 现已可在 Hugging Face 获取，提供 Q4_0 量化版本。该模型可通过 llama.cpp 的 llama serve / llama cli 直接运行，也支持 Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等多种本地部署方式，并可接入 Pi、Hermes、OpenClaw 等 Agent 工具。
IsValorum 发布 huihui-ai/Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 VAL-APEX-I MiniPlus V3 GGUF 量化版，文件 14.16 GB、whole-file BPW 4.15、含 866 个审计张量，原生 256K 上下文。该模型经 Coder390 SFT+RLOO 训练并做 abliterated 去审查，社区 NanoBench v0.4.0 评测中在 Oh My Pi (OMP 18.7)、Hermes Agent (v0.21.5)、DeepSeek Harness (0.2.0-rc.2) 三套测试上分别得分 96.7、95.4、90.4，Agentic 任务均为 100/100。
geezyforeezy 发布 rohit267/Qwen3.8-9B-heretic-uncensored 的 4-bit MLX + MTP（MTPLX）本地版本，面向 Apple Silicon。在 M5 24GB MacBook 上实测解码速度从 21.25 提升到 40.05 tok/s（+88%），投机解码为精确校验故无损；trunk 为有损 4-bit（group size 64，约 5.0 GB），附带原生 MTP sidecar 与 rank-64 C4 LoRA 适配器（加载时合并），depth 2 下草稿接受率约 0.71。
Abiray 发布的 MiniCPM-V-4.7-1B-abliterated-heretic-GGUF 量化模型（Q4_K_M）现可通过 llama.cpp、Ollama、Docker Model Runner、Lemonade 等工具加载运行，支持启动 OpenAI 兼容本地服务器或在终端直接推理。文档还给出在 Pi、Hermes Agent、OpenClaw 等 Agent 工具中接入该模型的配置方法。
Hanselor 发布 Qwen3.8-Flash-Next 的 abliterated Strata GGUF 套件，打包 ISTA-DASLab 的 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 四种 GSQ-RCO 量化权重，并新增一个 480 KB 的拒绝方向文件，由 Strata 在运行时投影去除拒绝行为，权重本身保持原样。单张 RTX 3090 实测显示该向量开启后 10 条提示拒绝从 9-10 降到 0，IQ3_S 的 KL 到 BF16 为 0.0738，IQ2_XS 在 131K 提示下解码约 80 tokens/s；agent 编码任务 5/5 通过。作者提醒移除拒绝会移除安全行为，输出由使用者自行负责。
推荐理由：作者给出了拒绝率、KL 与解码速度的实测数据，可以据此判断运行时去拒绝方向对量化模型的实际改动有多大。
AtomicChat 基于 Liquid AI 的 LFM2.5-24B-A2B 发布去除拒绝行为的去对齐版本，英文拒绝率从 96.3% 降至 1.2%，俄语从 62% 降至 0%。方法为沿单一方向编辑 blocks 14-39 的 52 个矩阵，MMLU 基本不变（64.40%→65.55%），提供 6 个 GGUF 量化版和一个 24 MB LoRA 适配器，可对现有量化权重用 --lora-scaled 加载。
推荐理由：原文给出完整的拒绝率前后对比、MMLU 变化和编辑方法细节，读者可以据此判断这个去对齐版本去掉多少、损伤多少。
minpei 发布 Qwen3.8-Flash-Next-GSQ-RCO-abliterated IQ3_S 的 Strata pack，包含 dense 权重与张量索引，绑定 GGUF revision eec4e10a，dense.bin（1.5 GB）仍在上传，可用 tools/iq_pack.py 9 秒自建。在 RTX 3060 12 GB + GTX 1080 Ti 11 GB、64 GB RAM 参考配置下，上下文 131,072 tokens，解码速度 21.9–24.6 tok/s。该模型已 abliterated（移除拒绝方向），无内置护栏，需自行提供内容审核。
AtomicChat 将 OpenBMB MiniCPM-V 4.7 35B-A3B 的一个拒绝方向从原权重中投影消除，提供三种内置 GGUF 量化版本和一个 106 MB LoRA 适配器。在 held-out 提示上，英文拒绝率从 96.3% 降至 0%，俄语从 70% 降至 0%，MMLU 仅变化 0.25 分；20.1 GB 版本与原模型 top-1 一致率 94.5%。方法基于 Arditi et al. 2024 的单方向拒绝机制研究。
推荐理由：发布附上完整的消融方法与held-out测试数据，拒绝率、MMLU、KLD等前后对比都可复核，适合想自己动手去对齐的人参考。
Launch80 在 Hugging Face 发布 Swift-1.5-Qwen3.8-27B-Uncensored-Int4-baked，将上游 ajgazin 的拒绝方向消融权重整体量化为 GPTQ INT4，lm_head 与 MTP draft 也压到 INT4，单卡 Intel Arc Pro B65 32 GB 可用原版 vLLM 服务 262,144 token 上下文。
推荐理由：原文给出拒绝率实测、困惑度与逐张量相对误差对比，读者可据此核验这个 INT4 去对齐版本的量化质量与解码速度。
TokForge 为 Qwen3.5-4B-Claude-4.6-Opus-abliterated 模型发布 NPU catalog pair 资源包，让骁龙 8 Elite Gen 5 与 8 Gen 3 手机在 TokForge 应用内用 Hexagon NPU 读取长提示词，CPU 负责生成回复。资源包按芯片分为两个文件夹，分别约 3.67 GB 和 3.65 GB，含 49 个 QNN context binary 及 MNN 配置，须搭配指定 commit 的 MNN 转换模型使用，NPU 部分加载约需 6.3 GB 内存。
TokForge 发布面向 Qwen3.5 4B Abliterated（huihui-ai 去审查版）的 NPU prompt pack，在 Snapdragon 8 Elite Gen 5（Hexagon V81，3.67 GB）与 Snapdragon 8 Gen 3（V75，3.65 GB）上让手机 NPU 分 128-token 块读取长提示词，CPU 生成回复，占用约 6.3 GB 内存。该包从 darkmaniac7/Qwen3.5-4B-uncensored-MNN commit 9416259dd5ed 的 int4 权重导出，经 QAIRT 2.40.0.251030 编译为各 49 个 QNN context binary，仅支持上述两款芯片，License 为 Apache-2.0。
hotdogs/Ternary-Bonsai-2-27B-Abliterated-Hemmingway-1-MTP 模型已在 Hugging Face 发布，默认量化版本为 Q2_0。文档给出 llama.cpp 的 macOS、Linux、Windows 安装方式及本地 OpenAI 兼容服务器启动命令，并说明在 Ollama、Docker Model Runner、Pi、Lemonade、Hermes Agent、OpenClaw 等工具中加载该模型的具体配置步骤。
Hugging Face 上发布的 Ternary Bonsai 2 27B Uncensored Heretic v2 是一个自包含 MLX 2-bit 包，为原版 Heretic v2 添加 DFlash2 推测解码，保留 FP16 视觉塔（8,595,478,392 字节）和 3.85 GB BF16 drafter，不重量化不重训。在 Apple M1 Max 上，temperature 0 的代码和数学任务速度为普通解码的 1.07-1.23x，工具调用 1.16x，13 个提示中位数 0.90x，需约 4 GiB 额外内存。通用聊天、长文档和采样建议改用普通解码的 serve.py。
Hugging Face 上发布 Ternary Bonsai 2 27B Uncensored Heretic v2 的 Compact MLX 2-bit 打包，内置 BF16 DFlash2 草稿模型（3.85 GB）与自定义运行时，模型权重未被重新量化或再训练。在 Apple M1 Max 上，temperature 0 的贪心解码下代码、数学与工具调用提速 1.07-1.24x，聊天、长文档等场景反而慢至 0.74-0.96x，13 条测试提示的加速中位数为 0.96x，且需额外约 4 GiB 内存。该打包仅支持 Apple Silicon Mac 与 mlx 0.32.2、mlx-vlm 0.7.2，文件夹内也保留原 serve.py 供普通推理使用。
Black Forest Labs 在 Hugging Face 发布 FLUX 3 Image Klein Base，一个 5.6B 开放权重文生图与图像编辑模型，支持最多 10 张参考图，文本编码器为 Qwen3-VL-4B-Instruct。该仓库为未蒸馏 base checkpoint，面向微调、LoRA 训练与研究；模型卡强调必须使用提示词上采样器，并给出 BF16/FP8/NVFP4 格式在 B200 上 31/29/26 GB 的峰值显存数据。模型采用 FLUX Kommunity License，非商业使用免费，年收入低于 500 万美元的合格用户可享商业输出例外。
推荐理由：官方模型卡写清了基础版与蒸馏版的分工、提示词上采样要求和各精度显存占用，方便读者选对 checkpoint 再动手。
Hugging Face 上架 taurusduan/Huihui-DeepSeek-V4-Flash-Vision-Exp-abliterated-GGUF 模型，提供 BF16 量化版本。该模型为图像-文本到文本多模态模型，可通过 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker Model Runner 等多种方式运行，并支持 llama.cpp 和 vLLM/SGLang 的 OpenAI 兼容 API 本地服务。
Hugging Face 上发布了 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本，提供 GGUF、Safetensors 和 MLX 格式用于本地图像生成。Q4_K_M（4.60 GB）为推荐的 GGUF 量化方案，MLX 格式针对 Apple Silicon 优化，模型无内置安全检查器，可直接生成成人及敏感图像。需配合 ComfyUI 和 leejet/ComfyUI-GGUF 使用，文本编码器可卸载到系统内存以节省 9–17 GB 显存。
webmp3/Sakura-Qwen-Image-2.1-PE-T2I-Uncensored-GGUF 已在 Hugging Face 上线，提供 Q4_K_M 量化版本，可通过 llama.cpp 运行，支持启动兼容 OpenAI 的本地服务器（llama serve）和终端直接推理（llama cli）。该模型还可用 vLLM、Ollama、Docker Model Runner、Lemonade 等工具部署，并可接入 Pi、Hermes、OpenClaw 等 Agent 使用。
proofofvitalik 于 2026-10-12 发布 Sovereign v2，将 ARA 27B uncensored 模型以 affine 4-bit（group size 64）打包为标准 qwen3_5 MLX 架构，无需 trust_remote_code，文本权重未合并、重训或重量化，并从同一 ARA 源恢复 BF16 视觉与原生 MTP。该版本使用独立仓库和 v2.0.0 标签，不替换旧版；声明架构上下文为 262,144，已在 mlx-vlm 0.7.6、mlx-lm 0.32.0、M4 Max/48GB 环境验证，LM Studio 与 Splash 1.3.1 均可加载。