Waypoint：面向 CPU 的 GEMM 解析建模方法
研究者提出 Waypoint，一种解析模型，可为给定硬件和输入矩阵形状自动寻找 GEMM 的最优 tile 尺寸，建模涵盖内存层级、指令级并行和多线程等架构因素。基于 Waypoint 构建的新 CPU GEMM 库 OPAM 性能媲美 state-of-the-art GEMM 库，可将 CPU 上的 LLM 推理加速 $1.36-1.98\times$，还能帮助硬件设计者评估实验性硬件优化的真实性能。
#本地部署
新闻、仓库与研究，按时间排列。
arXiv · cs.AIAI 评分3030 Hugging Face · 新模型：uncensoredAI 评分1919 MishraNepali Dirty-Muse-Writer-v01 Uncensored Erotica NSFW Q2_K 量化模型上线 Hugging Face
Hugging Face 上架 MishraNepali/Dirty-Muse-Writer-v01-Uncensored-Erotica-NSFW-Q2_K，一个 Q2_K 量化的无审查情色/NSFW 写作模型。页面给出 llama.cpp、vLLM、Ollama、Docker Model Runner、Lemonade 等多种本地运行方式，支持启动 OpenAI 兼容 API 服务器或在终端直接推理。
Hugging Face · 新模型：uncensoredAI 评分4848 DeepSeek-V4.1-Flash-1017-UNCENSORED 的 oQ4e-mtp MLX 版本发布，支持 Apple Silicon
dealignai 的 DeepSeek-V4.1-Flash-1017-UNCENSORED（约 764B 参数 MoE、1M 上下文）推出 oMLX oQ4e 量化版，约 432 GB，保留 MTP 头与 Engram 量化，需 512 GB Mac 运行。MMLU-Pro 80.3、GSM8K 96.0、HumanEval 92.7，与官方权重版差距在几分以内，SafetyBench 76.3 因移除拒答而下降。Mac Studio M3 Ultra 上解码约 29 tok/s，MIT 许可。
Hugging Face · 新模型：uncensoredAI 评分3434 
Qwen-Image-2.1 Uncensored 量化版发布，提供 GGUF/Safetensors/MLX 多格式本地部署
Hugging Face 用户 thomasdaniel87 发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本，提供 GGUF、Safetensors 和 MLX 格式，文件大小从 4.00 GB（MLX 4-bit）到 14.23 GB（BF16）不等，推荐 GGUF 使用 Q4_K_M（4.60 GB）。该版本无内置安全检查器，可直接生成 NSFW 内容，需配合 ComfyUI 与配套的 qwen3vl_8b 文本编码器和 VAE 使用，MLX 格式针对 Apple Silicon 优化。
Hugging Face · 新模型：abliteratedAI 评分4848 
jaromer 发布 Qwen3.8-Flash-Next GSQ-RCO 消融版 GGUF（IQ3_S 等 4 档量化）
jaromer 在 Hugging Face 发布 abliterated 版 Qwen3.8-Flash-Next GSQ-RCO GGUF，通过张量移植移除拒答方向，不重算任何 GSQ 学习到的量化值，保留 262K 上下文与 APACHE-2.0 许可。IQ3_S 版 83.86 GB，四档（IQ3_S/IQ3_XXS/IQ2_XS/Q2_0）均逐张量 blake2b 校验，每档仅比上游多 0.25–0.44 GB；模型无内置安全护栏，部署时需自行提供审核。
Hugging Face · 新模型：abliteratedAI 评分2626 Qwen3-4B-Claude-Sonnet-4-Reasoning-Distill-Heretic-Abliterated-i1-GGUF 上架 Hugging Face
Kirill777Vais 发布的 Qwen3-4B-Claude-Sonnet-4-Reasoning-Distill-Heretic-Abliterated-Heretic-Abliterated-i1-GGUF 模型现已在 Hugging Face 开源。该模型提供 Q4_K_M 量化版本，可通过 Transformers、llama.cpp、Ollama、Docker、LM Studio、Pi、Hermes Agent、OpenClaw 等多种工具加载运行，llama.cpp 还支持启动 OpenAI 兼容的本地服务器。
Hugging Face · 新模型：abliteratedAI 评分3535 Huihui-Qwen3.8-27B-abliterated GGUF 发布：去审查版 Qwen3.8-27B
huihui-ai 基于 Qwen/Qwen3.8-27B 发布去审查（abliterated）版本 Huihui-Qwen3.8-27B-abliterated-GGUF，仅消融第 22 至 52 层（0 起始索引），MTP 与视觉部分未改动。多个系列（Underdog-Saluki、Swift、Ternary、GSQ-RCO、UD 等）陆续追加，部分量化将 token_embd、output、ffn_down 等待消融权重转为 Q8_0 并命名为 Q2_K_L 至 Q6_K_L。模型可通过最新版 ollama 运行 huihui_ai/Qwen3.8-abliterated，llama.cpp 支持上下文长度 262144，官方提示输出可能含敏感内容，建议用于研究测试场景。
Hugging Face · 新模型：uncensoredAI 评分2222 OpenIntelligenceNet 发布 Spark-X2.6-4B-Uncensored-GGUF 量化模型
Spark-X2.6-4B-Uncensored-GGUF 上架 Hugging Face，提供 Q4_K_M 量化版本，可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或直接在终端运行推理。该模型还支持通过 Ollama、Docker Model Runner、Lemonade 以及 Pi、Hermes、OpenClaw 等 Agent 工具加载使用。
Hugging Face · 新模型：abliteratedAI 评分2626 Feyospace-v1.1-Abliterated-security-MTP-UD-Q4_K_S GGUF 量化版发布
Hugging Face 社区发布 Feyospace-v1.1-Abliterated-security-MTP-UD-Q4_K_S，这是基于 OBLITERATUS/feyospace-s1-obliterated 的 GGUF 量化版，面向本地网络安全研究、代码分析与工具辅助调查。该构建采用 UD-Q4_K_S 混合精度布局、面向安全的 importance-matrix 校准，并保留 MTP 头以支持投机解码；上游模型约 28B 参数、Qwen3.5 架构、Apache-2.0 许可，最大上下文 262,144 tokens。该卡未提供此量化版的 benchmark 结果，最终张量清单与质量保留情况尚待验证。
Hugging Face · 新模型：uncensoredAI 评分7575 BoldingBuilds 发布 GLM-5.3-Flash-Uncensored 的 imatrix GGUF 量化并实测去对齐效果
BoldingBuilds 放出 OrcaRouter 去 GLM-5.3-Flash-Uncensored（320B 总参数/18B 激活 MoE、288 路由专家、1M 上下文）的 imatrix GGUF 量化，含 IQ3_XXS、IQ2_M、IQ2_S、IQ2_XXS 四档，并修正共享专家与 attention 量化配方使 IQ2_S 等通过全部 48 项一致性测试。量化权重上实测 JailbreakBench 有害拒绝率 0.040（OrcaRouter FP8 为 0.120，base 为 0.930），HumanEval pass@1 0.927；作者指出空输出会计为服从，提醒评测时必须同时报告空输出数，文件已适配 mainline llama.cpp 与 LM Studio 模板。
Hugging Face · 新模型：abliterated精选AI 评分6060 KaedeTai 发布 occamy-1.0-abliterated 的 MLX 4-bit 量化版并移植 MTP 草稿头
KaedeTai 将 SC117 制作的 abliterated 版 Occamy-1.0 从 BF16 GGUF 反向转回 HF 布局并量化为 MLX 4-bit，约 20 GB。仓库装回 Accio-Lab 原版的 vision tower，并从 KaedeTai/Ornith-1.5-35B-A3B-BigBang-MTP-zh-mlx-4bit 原样移植 MTP 草稿头；该头在 Occamy 上草稿接受率达 65.6%（每周期 2.13 个 token），高于其原本干的 Ornith 主干的 64.9%。作者用逐张量逆变换脚本还原 llama.cpp 转换改动，42 个对照张量中 40 个与未去对齐基座逐位一致，其余两个正是消融所改的矩阵。
推荐理由：作者给出了逐张量校验和同机对照的 TMMLU+ 分数，可以核对这套 GGUF 转 MLX 加移植 MTP 头的转换质量与速度收益。
Hugging Face · 新模型：uncensored精选AI 评分5656 Qwen3.8-Flash-Next-Uncensored 2-bit MLX 量化版发布，附 DFlash2 加速与 M1 Max 实测
3hs4n 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX 优化量化版，目标模型采用 affine 2-bit/group-128 重建，搭配 Inco AI 的 BF16 DFlash2 草稿模型，完整下载 74.048 GB。在 M1 Max 64 GiB 实测中，代码与数学 warm 解码达 37.62 和 33.69 tokens/s，约为基线的 1.70× 和 1.56×，文本仅 1.048×；固定 50 题 GSM8K 子集全部答对且与原生参考一致，进程峰值内存 42.12 GiB。
推荐理由：作者实测了 M1 Max 上代码与数学解码的加速倍数和内存峰值，并给出 32/48/64 GiB 的可行性判断，便于评估本地部署。
Hugging Face · 新模型：uncensoredAI 评分4848 Qwen3.8-Flash-Next-Uncensored MLX 2/8-bit 优化转换包发布
Hugging Face 用户 3hs4n 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX 优化量化转换包，基于 360 GB BF16 源检查点，专家投影采用 affine 2-bit/group128，其余投影为 8-bit/group64，文件约 72.8 GB。验证含 50 题 GSM8K 子集、烟雾测试（15/18 通过）及文本生成约 23.5 tokens/s 的计时结果；模型采用原生 qwen4_exp 多模态实现，可配合 run_qwen38_unsloth.py 以 16384 上下文运行。
Hugging Face · 新模型：uncensoredAI 评分2424 HAYAT-35B-A3B-Uncensored GGUF 发布：基于 Qwen3.6-35B-A3B 的本地无审查模型
HAYAT 35B-A3B Uncensored (GGUF) 上架 Hugging Face，是 Windows 本地优先 AI 助手 HAYAT 的主模型，权重与 HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 完全一致，基于 Qwen3.6-35B-A3B，HAYAT 仅添加含系统指令与采样设置的 Modelfile。
Hugging Face · 新模型：uncensoredAI 评分3838 
Qwen-Image-2.1 Uncensored 量化版本发布，支持 ComfyUI 本地图像生成
Sagarkun 发布 Qwen-Image-2.1 Uncensored 的多格式量化版本，基于 Qwen/Qwen-Image-2.1 原始权重，提供 GGUF、Safetensors 和 MLX 格式，其中 Q4_K_M GGUF 仅 4.60 GB 且被推荐为体积与质量的最佳平衡。该版本无内置安全检查或内容过滤，可直接生成成人及敏感图像；文本编码器可卸载至系统内存以节省 9–17 GB VRAM，需搭配 ComfyUI 与 ComfyUI-GGUF 使用，采用 Qwen Research License。
Hugging Face · 新模型：abliteratedAI 评分2424 Qwen3.8-Flash-Next-Abliterated Sushi 3bpw 实验性量化版本发布
sanasol2008 基于 orcarouter/Qwen3.8-Flash-Next-Uncensored 的 BF16 权重制作了 Sushi 格式 3bpw 实验性量化包，路由专家采用 EXL3 K3 编码，未额外做 abliteration 或微调。完整下载约 79.22 GiB，在 Apple M3 Max 48 GiB 上冷解码 11.88 tok/s、热解码 12.88 tok/s，慢于 2bpw 版本；校准误差相对 2bpw（相对 Frobenius 误差 0.029 对 0.064）更低，支持 262144 上下文配置上限。
Hugging Face · 新模型：abliteratedAI 评分2424 prithivMLmods/Qwen3.8-27B-abliterated-NVFP4-GGUF 上架 Hugging Face
Qwen3.8-27B-abliterated 的 NVFP4 GGUF 量化版本（27B 参数）已在 Hugging Face 上架，支持 image-text-to-text 多模态输入。文档给出 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker 等多种本地部署与 OpenAI 兼容 API 调用方式。
Hugging Face · 新模型：uncensoredAI 评分3535 
Spark-X2.6-4B-Uncensored GSQ-RCO GGUF 量化版发布
abenzerps 发布 XHToken/Spark-X2.6-4B 的混合精度 GSQ-RCO GGUF 量化版，面向 llama.cpp 本地推理。RCO 将 36 个 sigmoid 注意力门控和 9 个全局注意力投影保留为 BF16，GSQ 依 Hessian 灵敏度校准优化每层精度，推荐 IQ3_M（2.28 GB）。4-bit KV cache 下 131k 上下文约需 3.5–4 GB 显存，支持 llama.cpp 与 Ollama，采用 Apache-2.0 许可。
Hugging Face · 新模型：abliteratedAI 评分4141 Huihui-DeepSeek-V4.1-Flash-1017-abliterated GGUF 版本发布
huihui-ai 基于 deepseek-ai/DeepSeek-V4.1-Flash-1017 发布 abliterated 去审查版本，完全用 llama.cpp 的 GGUF 完成 abliteration，未依赖 Transformers。仅 abliterate 第 11 至 28 层（0 起始索引）的 18 个 attn_output_b 张量，专家系统未改动；UD 系列来自 unsloth 的 GGUF。模型安全过滤大幅降低，建议用于研究或受控环境，支持 262144 上下文长度。
Hugging Face · 新模型：uncensoredAI 评分3737 
Qwen-Image-2.1 Uncensored 量化版发布，提供 GGUF/Safetensors/MLX 多格式本地部署
l666A 基于 Qwen/Qwen-Image-2.1 上游权重发布 Uncensored 量化版本，提供 GGUF、Safetensors 和 MLX 格式用于本地图像生成，Q4_K_M（4.60 GB）为推荐的 GGUF 量化方案。该版本不含内置安全检查器，可直接生成成人、NSFW 及敏感图像，支持 ComfyUI 与 ComfyUI-GGUF，文本编码器卸载到系统内存可节省 9–17 GB 显存。
Ollama Blog精选AI 评分5656 Ollama 支持语音模型，首发 Gradium 的 Phonon 文本转语音系列
Ollama 0.40.11 起支持文本转语音，首个语音模型是 Gradium 的 Phonon 系列，目前可用 macOS，Windows 和 Linux 支持即将推出。在 M5 Max MacBook Pro 上，Ollama 借助 MLX 加速，吞吐比次快的 Gradium ptts 运行时快 35%，词错率与 Hugging Face Transformers 参考实现持平；Phonon 采用 Apache 2.0 许可，40M 版本为 CC BY-NC 4.0 限非商用，支持英语、法语、德语、西班牙语、葡萄牙语，并提供 OpenAI 兼容的 /v1/audio/speech 接口和流式播放。
推荐理由：官方给出了与 Gradium 自家运行时的吞吐对比和词错率对照数据，读者可以据此判断在 Apple Silicon 上本地跑语音模型的真实表现。
Hugging Face · 新模型：abliterated精选AI 评分5858 Qwen3.8-Flash-Next GSQ-RCO 量化包发布，附运行时去拒绝向量与实测数据
作者发布了一个 Strata 运行时去拒绝方案包，收录 ISTA-DASLab 的 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 四档 GSQ-RCO 量化权重（逐字节复制并校验 SHA256），外加一个 480 KB 的拒绝方向向量文件，来自 Huihui 对 144 个残差写入张量的秩一编辑，在推理时对每层残差流做投影 h = h - (h·r)r 以移除拒绝行为。
推荐理由：作者用拒绝率、KL 散度和解码速度实测了运行时去拒绝向量的效果，数据可直接用于判断这种方案对输出的改动幅度。
Hugging Face · 新模型：uncensoredAI 评分2323 Hugging Face 上架 Harsha001/Qwen3.8-27B-Uncensored-ROCmFPX 模型
Hugging Face 发布 Harsha001/Qwen3.8-27B-Uncensored-ROCmFPX，提供 Q8_0_ROCMFPX 量化版本。该模型可通过 llama.cpp 本地部署，支持 OpenAI 兼容服务器，也可用 Ollama 运行（ollama run hf.co/Harsha001/Qwen3.8-27B-Uncensored-ROCmFPX:Q8_0_ROCMFPX），并可在 Docker Model Runner、Lemonade 及 LM Studio、Jan、Pi、Hermes Agent、OpenClaw 等工具中加载使用。
arXiv · cs.CLAI 评分4040 EdgeDeID：无需真实患者数据训练的 0.6B 临床去标识化模型
EdgeDeID 是一个 0.6B 参数的本地运行临床去标识化模型，训练全程不使用真实患者文本，由三个 LLM 教师生成合成笔记再统一标注。在 100 篇人工核验的合成域内基准上达到 0.994 micro-F1，99% 的笔记无遗漏标识符，而八个现成系统中最强者仅为 0.857 和 12%；量化后在 CPU 上仅占 615 MB。但在 MIMIC ICU 护理笔记上 F1 降至 0.48，三个手写上下文示例可回升 0.08 F1。
Hugging Face · 新模型：uncensoredAI 评分3636 GLM-5.3-Flash 去审查版 Maya-L GGUF 量化发布，支持 1M 上下文
Adolphsson 在 Hugging Face 发布 GLM-5.3-Flash 去审查版的 Maya-L GGUF 量化，基于 dealignai 的 CRACK 去审查 FP8 检查点（原模型 zai-org/GLM-5.3-Flash），仅做量化，保留 MTP 草稿块与视觉 mmproj 文件，上下文 1M tokens，总量 156.3 GB，分 4 个分片，MIT 许可。单张 RTX 5090 实测 1M 上下文 28.5 tok/s，256K 上下文开 MTP 提速约 16%；该版本仅通过功能验证，尚未跑 MMLU 等基准。
Hugging Face · 趋势模型精选AI 评分7777 
ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 非均匀量化 GGUF
ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本，用 GSQ 加 RCO 的梯度搜索按张量敏感度分配量化类型，提供 IQ1_M、IQ2_XXS、IQ2_XS 三档。IQ2_XXS（2.00 bpw）在 AIME25、GPQA-Diamond、LiveCodeBench v6 上完全追平 FP8/FP4 基模型，任务均值恢复 100.0%；IQ1_M 保留 98.7%。配合 Strata 引擎可在单张 12 GB VRAM 的 GPU 上运行；llama.cpp 截至 2026 年 10 月 23 日尚不支持该模型。
推荐理由：原文给出了各量化的基准恢复率和完整方法与分配文件，读者可以据此判断低比特量化到底损失了多少能力。
Hugging Face · 新模型：uncensored精选AI 评分6868 Qwen3.8-27B OrcaRouter Uncensored 的 GGUF 与 NInfer 量化版发布，适配 16 GB 显存
codavidgarcia 发布 orcarouter/Qwen3.8-27B-Uncensored 的 GGUF 与 NInfer 量化文件，让模型连同原生 MTP 头在 16 GB 显存内运行。该去对齐版本在 abliterlitics 的 12 个变体对比中以 82% 的有害提示服从率排第一，各能力基准与原模型差距在 ±1.3 分内；作者在单张 RTX 4080 16 GB 上实测了各文件的 KLD、速度与 llama.cpp/NInfer 运行命令，许可证为 Apache-2.0。
推荐理由：原文给出拒绝率、KLD 与 RTX 4080 实测速度数据，可据此判断该去对齐量化版的损失与 16 GB 可用性。
Hugging Face · 新模型：uncensored精选AI 评分5252 Gemma4-26B-A4B-Uncensored-HauhauCS-Balanced GGUF 量化镜像发布
grainrigi 在 Hugging Face 镜像了 HauhauCS 的 Gemma4-26B-A4B-Uncensored-HauhauCS-Balanced GGUF 量化版，作为备份保留 Q8_K_P 与 f16 mmproj。原版基于 google/gemma-4-26B-A4B-it，总参数 25.2B、激活约 3.8B（128 专家取 top-8 加 1 共享专家），256K 原生上下文、原生多模态；经自动化与人工拒绝基准测试为 0/465 拒绝，少量边缘提示首次会回避但重问即答。
推荐理由：原文给出 0/465 拒绝率的自动化与人工实测数据，以及各量化档位大小和推荐配置，便于按显存选档。
Hugging Face · 新模型：abliterated精选AI 评分5757 
staccs 发布 DeepSeek-V4.1-Flash-1017 abliterated 版单文件 GGUF 量化包
staccs 发布了 106.8 GB 单文件 GGUF，对 dealignai 制作的 DeepSeek-V4.1-Flash-1017 abliterated（UNCENSORED-FP8）版本重新量化，采用 lecore 激活校准的 11-bit 向量量化处理路由专家（2048 码本条目、65,536 校准 token，1.39 bpw，cosine 0.909），注意力骨架用 q4_K，共享专家 VQ 11-bit。评测以未量化源模型为教师，WikiText-2 上 2k/16k 上下文困惑度 2.817/2.936，top-1 一致率 80.2%/78.6%，优于未校准的 vq10sh12 版本（PPL 3.615、top-1 74.5%）。
推荐理由：作者用未量化源模型给出困惑度、KL 散度和 top-1 一致率对照，可据此评估这套 11-bit VQ 量化的损耗。
Hugging Face · 新模型：uncensoredAI 评分1818 EsteefAi 发布 Llama-3.2-3B-Instruct-uncensored-GGUF-mirror 镜像
EsteefAi 在 Hugging Face 上架 Llama-3.2-3B-Instruct-uncensored-GGUF-mirror 镜像，提供 Q6_K 量化版本。该页面给出用 llama.cpp、Ollama、Docker、LM Studio、Jan 等工具运行该 GGUF 模型的完整命令，也可配置到 Pi、Hermes、OpenClaw 等智能体中，通过本地 OpenAI 兼容服务器调用。
Hugging Face BlogAI 评分4444 
Hugging Face 推出 torch-neuronx 模型支持查询 Space：你的模型能否跑在 AWS Trainium 上一查便知
Hugging Face 推出 torch-neuronx model support Space，可查询 Hub 上热门模型能否在 AWS Trainium 上原生运行，并提供可复现的 run.py 脚本。每条记录包含 Trainium core 分片数、含编译的总运行时间和峰值显存，结果来自公开数据集 aws-neuron/torch-neuronx-model-support，用户可通过 NEFF cache bucket 跳过编译。
arXiv · cs.AIAI 评分4040 InferSlice：面向电信广域网 SLO 驱动 LLM 推理的参考架构
BT 联合布里斯托大学与 NVIDIA 提出 InferSlice，一个在电信基础设施上实现 SLO 驱动 LLM 推理的参考架构，集成网络切片、GPU 分区、弹性服务与可观测性，并在 JOINER 英国全国广域网上实现。评估显示不同服务层级呈现不同的时延-吞吐区间，权重流式传输可缩短扩容时间；流水线并行可容忍近中距离跨站点跳数，而张量并行与 prefill/decode 分离在超出单一子网跳数后失效。
Hugging Face · 新模型：uncensoredAI 评分4848 
Solstice-AI 发布 Qwen3.8-27B-TURBO-Fable-Cold-Fusion 的 Apple MLX oQ4e 1M 版本
Solstice-AI 将 DavidAU 的 Qwen3.8-27B-TURBO-Fable-Cold-Fusion 量化打包为 Apple MLX oQ4e 混合精度版本，内置 1,048,576 token 的 YaRN 上下文扩展，内存占用 17.02 GB，可在 16GB/24GB MacBook 上通过 Anvil 或 MLX-LM 运行。官方称在 Claude Code 评测框架下以 9/9 项基准全胜 Claude Opus 4.6 Max，其中 SWE-bench Pro 61.7% 对 53.4%，ARC-C 735、ARC-E 882。Apple Silicon 上的 MTP 多 token 预测带来 1.72×–2.20× 的加速。
Hugging Face · 新模型：uncensoredAI 评分2929 
NeoHorse-1-9B-Uncensored GSQ-RCO GGUF 量化版发布，适配 llama.cpp 本地推理
abenzerps 基于 TokenRhythm/NeoHorse-1-9B 发布 GSQ-RCO 混合精度 GGUF 量化版本，采用 RCO 保留全部 48 个关键 SSM 参数为 BF16，并用 GSQ 按 Hessian 灵敏度校准逐层优化精度。提供 IQ2_XS 到 IQ4_XS 共 5 档文件，推荐 IQ3_M（3.75 bpw、4.20 GB）。配合 4-bit KV cache 可在 8GB 显存的消费级 GPU 上以约 6 GB VRAM 运行 131k 上下文，遵循 Apache-2.0 License。
Hugging Face · 新模型：uncensoredAI 评分2424 mradermacher 发布 LFM2.5-24B-A2B-uncensored2 GGUF 量化版本
mradermacher 在 Hugging Face 上提供 LFM2.5-24B-A2B-uncensored2 的 GGUF 量化模型（如 Q2_K）。该模型可通过 llama.cpp 本地服务器或命令行直接运行，并支持 Ollama、LM Studio、Jan、Docker、Pi、Hermes、OpenClaw、Lemonade 等多种工具加载使用。
Hugging Face · 新模型：uncensoredAI 评分2121 mradermacher 发布 Sage-A1.5-Heretic-Abliterated-Uncensored-GGUF 量化模型
mradermacher 在 Hugging Face 上提供 Sage-A1.5-Heretic-Abliterated-Uncensored-GGUF 量化模型，可按 Q4_K_S 等量化版本下载。页面给出 llama.cpp 本地运行（含 OpenAI 兼容服务器）、Ollama、Docker、LM Studio、Jan 等多种部署方式的具体命令。
arXiv · cs.CL精选AI 评分5757 北海道大学医院发布院内封闭网络临床智能体平台 LLENS 并完成评估
论文报道了在北海道大学医院封闭网络内部署的临床支持智能体平台 LLENS，使用 8 块 NVIDIA H200 GPU 与开放权重模型 Kimi K2.6（约 1 万亿参数），自 2026 年 9 月 14 日起在医院网络运行。Kimi K2.6 从 3 个候选中选出，在 2026 年日本医师执照考试模拟中得 480/500 分；在 180 道基于医院文档的问题上，交互式工具访问准确率 97.2%，高于固定检索的 81.3%（差距 15.9 个百分点，95% CI 10.9-21.3）。
推荐理由：在医院封闭网络内部署开源大模型智能体的完整实测，对比了三种检索方式的准确率，方法可迁移到其他内网场景。
Hugging Face · 新模型：abliteratedAI 评分2929 Huihui-Qwen3.6-35B-A3B-abliterated 的 Orinfer E8P Q4A8 量化版上线 Hugging Face
基于 huihui-ai 的 abliterated Qwen3.6-35B-A3B 模型、面向 Jetson AGX Orin 64GB 的 Orinfer E8P Q4A8 量化版在 Hugging Face 发布，权重共 35,951,822,704 参数、约 4.209 bits/权重，上下文 262,144 tokens，需 Orinfer v0.2.1 运行。验证显示单次请求 65.83 tokens/s，10/11 自动评分任务通过，权重采用 Apache-2.0 许可。
Hugging Face · 新模型：uncensoredAI 评分3535 
Qwen-Image-2.1 Uncensored 量化版发布，支持 GGUF、Safetensors 与 MLX 本地图像生成
gogogo2727 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本，提供 GGUF、Safetensors 和 MLX 格式，文件大小从 4.00 GB（MLX 4-bit）到 14.23 GB（BF16）不等，推荐 GGUF 使用 Q4_K_M（4.60 GB）。该版本无内置安全检查器，可直接生成 NSFW 内容，需配合 ComfyUI 与 ComfyUI-GGUF 使用，文本编码器 qwen3vl_8b 可卸载到系统内存以节省 9–17 GB VRAM。
Hugging Face · 新模型：uncensoredAI 评分5050 na0fu3y 发布 Qwen3.8-Flash-Next-Uncensored 的 mlx-serve iQ-MLX 4.7bpw 量化版
na0fu3y 发布 Qwen3.8-Flash-Next-Uncensored 的 mlx-serve iQ-MLX 4.7bpw 量化版，基于 orcarouter 的 abliterated bf16 权重，路由专家为 4-bit、其余多为 8-bit，含 MTP 头和视觉塔，移除安全对齐后可响应原模型拒绝的请求。下载体积 100 GB，无 --ple-gpu 时常驻约 75 GB；在 M3 Ultra 上 decode 速度约 124.3-124.8 tok/s，13 个边缘提示词中仅 1 个被拒绝（对照组为 11 个）。许可证为 Qwen Community License 1.0。