新闻、仓库与研究，按时间排列。
moeshawky 发布 distributedcognition/Hemmingway-1-27B-abliterated 的 INT8 W8A8 动态量化版，基于 27.32B 参数的 BF16 原模型，体积从 54.64 GB 降至 30.30 GB（55.5%），仅量化语言模型解码器中的 496 个 linear 层，lm_head、embed_tokens、MTP 头与 Gated DeltaNet 状态张量保持 BF16。实测 INT8 权重 SNR 约 39.6–40.8 dB，logits 分布接近原模型；可直接在 vLLM、SGLang 或 Transformers 中加载，尚未做 benchmark、吞吐或消融鲁棒性测试，许可证为 apache-2.0。
Reddit r/LocalLLaMA 用户发现，Qwen 3.8 Flash 常见 GGUF 量化中 PLE（SSD 上的 n-gram 表）被重度量化，影响性能。其用 ple_fp8_pack.py 打包 FP8 PLE（bf16 sidecar 仅 llama.cpp 支持，Strata 需 FP8），在 iq3_s 量化下明显减少低级错误且不损失速度，仅需约 47GB 额外磁盘空间。
Hugging Face 上线 Sindexter/qwen2.5-7b-abliterated-gguf 模型页面，提供 Q3_K_M 量化版本。用户可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或终端直接推理，也支持 Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具运行，并可接入 Pi、Hermes、OpenClaw 等 Agent 使用。
一位 Reddit 用户在本地硬件上对 Qwen Flash Next 的 q3_xxs、q3_s、q4_xs 三种量化版本，分别在 temp 1（官方推荐采样参数）和 temp 0 下各跑 3 次共 12 组测试，任务为浏览器内 Tetris 游戏。结果显示各量化版本质量均可接受，低量化版本因思考与额外工具调用生成更多 token，总解码量与任务时间随量化等级提升而下降；temp 0 或略降任务时间并提升一致性，但样本太少不足以下结论。作者建议在硬件允许下选最高量化，关注任务时间而非解码速度。
作者为 llama.cpp 实现了自适应 KV 流式传输并移植到 ROCm/HIP，使 Qwen3.8-27B（IQ4_XS 权重、Q8_0/Q4_0 KV cache）在单张 16GB RX 9070 XT 上跑满 262,144 token 上下文，解码达 80+ t/s。完整 262k KV cache 约需 7.4 GiB，方案将完整缓存保留在主机内存，通过 PCIe SDMA 异步流式传输约 450 MiB（prefill）和约 2,100 MiB（decode）的工作集，并融合 stew675 的 RDNA 4 内核优化、兄弟激活复用、融合 RMSNorm、MTP 投机解码等改进。
推荐理由：作者给出了各上下文长度下的解码与预填充实测数据，以及功耗限制下的对比，可复现到 AMD 单卡本地部署。
Baekpica 正在将 abliterated 版 GLM-5.3-Flash-Uncensored-FP8 转换为实验性 GVQ1/GGUF v3 格式（Q4_K nonexpert v3），权重上传前仓库暂不可加载。转换复用 GLM-5.3-Flash-VQ-GGUF 的结构：36,288 个路由专家矩阵用八维 VQ（K8192，每权重 1.625 index bits），316 个非专家矩阵用 Q4_K，面向 DGX Spark (GB10) 服务。模型经 abliteration 移除了安全对齐，采用 MIT 许可，仅声明研究用途。
webmp3 在 Hugging Face 上发布 Sakura-Nemotron-3.5-Bolt-74B-A9B-24GB-Uncensored 的 GGUF 版本。该模型可通过 llama.cpp、vLLM、Ollama、Docker Model Runner 等工具运行，支持启动 OpenAI 兼容本地服务器或在终端直接推理，也可在 LM Studio、Jan、Pi、Hermes Agent、OpenClaw 等客户端中使用。
一位用户在 llama-server 上以 Q5_K_XL 量化运行 Qwen3.6 35B A3B（26GB、132k 上下文、KV cache q8_0），在 4060TI 16GB 加老 i7 与 48GB DDR4 的配置下获得 19.53 t/s 生成速度，prompt 处理 132.58 tokens/s，仅占 4.5GB VRAM；而 26B 稠密模型（Gemma 或 Qwen）Q4_K_M 量化仅约 2 t/s。用户疑惑 MoE 版本为何快近 10 倍，并询问专家层经 PCIe 与 DDR4 是否会成为瓶颈。
Reddit r/LocalLLaMA 用户分享 Qwen 3.8 Flash Next 解码提速技巧：将 --adapt-every 从校准值 1 调到 6 后，UD-Q4_K_XL 量化下 4 个提示词的输出速度提升 12%-55%（最高 43.1 t/s），UD-IQ4_XS 提升 9%-24%（最高 71.6 t/s）。测试环境为 Intel 11700F、RTX 4070 ti super、64GB DDR4、Arch linux TTY。
数字生命卡兹克分享华硕ProArt创16轻薄本的一周深度使用体验，该机搭载RTX Spark N1X芯片与128G统一内存，售价37999元。128G版本在京东全球开售时几分钟内即被抢空，他称一周实现了本地Token自由。
论文介绍 Muse Glimmer，一个面向消费级硬件上自主智能体任务的开源 30B 因果语言模型，集多步推理、工具调用与失败恢复于一体，支持文本与图像输入，训练数据覆盖一百多种语言，量化至约 4-bit 可单 GPU 本地推理。作者称其在工具调用、多步规划和智能体任务完成上优于同尺寸的 Gemma4-31B 与 Qwen3.6-27B，模型以 Apache 2.0 许可发布。
推荐理由：论文给出30B级端侧Agent模型在同尺寸模型上的基准对比，对关注本地部署智能体的人有参考价值。
webmp3/Sakura-Jais-3-7B-Uncensored-GGUF 现已登陆 Hugging Face，提供 Q4_K_M 等 GGUF 量化版本。该模型可通过 llama.cpp、vLLM、Ollama、Docker Model Runner 等工具本地运行，支持启动 OpenAI 兼容 API 服务器或在终端直接推理，也可接入 LM Studio、Jan、Pi、Hermes、OpenClaw 等应用。
Hugging Face 上线 nyan-ame 的 Qwen2.5-Coder-7B-Instruct-Abliterated-GGUF 模型仓库，提供 abliterated 版本的 GGUF 格式权重。该模型目前未被任何 Inference Provider 部署，下载量未被追踪，README 文件为空。
用户在 64GB 内存的 Nvidia AGX 嵌入式设备上以 50W 功耗实测 Qwen3.8-Flash-Next-Gyro-L-TQ3_0.gguf（108GiB），处理速度 82 token/s、生成速度 9.86 token/s。同机测试中 Qwen3.8-27B Q8_K_XL 生成 8.3 token/s、Q4_K_M 达 10.5 token/s，Qwen3.6-35B-A3B 单请求 23 token/s、双请求 43 token/s。作者原以为 Framework 桌面 128GiB 版会更快，但按其博客预估 Qwen3.8 27B Q4 仅 11-12 token/s，手持 5000 美元预算仍难找到数量级提升的方案。
hranicka 在 GitHub 发布 llm-gateway，一个 OpenAI 与 Anthropic 兼容的代理，按请求中的 model 字段按需启动和关闭本地模型后端，用顺序切换解决消费级显卡 VRAM 只能装一个量化模型的问题。它支持 /v1/chat/completions、/v1/messages、/v1/responses、图像生成与编辑端点，可代理 llama-server、vLLM、ExLlamaV3、sd-server、ComfyUI 等后端，并利用 ROCm/CUDA/Metal 编译目标与 flash attention 等原生运行时参数。
推荐理由：作者给出了单槽 VRAM 下按需切换模型后端的具体做法，并附 EXL3 与 GGUF 的实测速度和困惑度对比数据。
一位 Reddit r/LocalLLaMA 用户搭建了本地智能体框架，配备 96+24+24GB VRAM（RTX pro 6000 + 2x3090）和 128GB 内存，用于追踪退款、监控邮件、整理病历和下单等任务。主力模型为 Qwen Flash Next q6，快速任务用 Qwen 3.6 35ba3b 搭配 Ninfer 达到 500tok/s 解码速度，并寻求能超越 QFN q6 的长程自主智能体模型推荐。
MiniMax 发布 MiniMax-M3.1-Flash，一个面向编码、Agent 工作流、computer use 和网络安全的原生多模态 MoE 模型，总参数约 428B、每 token 激活 23B，支持文本、图像、视频输入，上下文窗口最高 1M tokens。相比 M3 的三项主要变化是全程稀疏注意力、量化感知训练，以及用 DSpark 投机解码取代此前的 EAGLE 类 MTP 方案。
推荐理由：官方公布与 DeepSeek、Kimi 等模型在十余个 Agent 与编码基准上的横向对比，并说明评测设置，读者可据此自行评估实际水平。
Qwen3.8-27B-Defiance-Uncensored-MTP-GGUF 将 DavidAU 的 Turbo-Brilliance "AI Construct" 模式套用到 HauhauCS 的无审查 Qwen3.8-27B 权重上，逐 tensor 核对了全部 866 个张量。在 RTX 4090 上以 llama.cpp 测试 IQ4_XS，40 种模式全部正常渲染，instruct 模式解码 86-90 tok/s，131K 上下文占用 21.4 GB；对易回避的提示无拒绝、无附加警告，回答长度达原版 1.4-2 倍。
ttindall 将 DavidAU 的 Turbo-Brilliance "AI Construct" 模式套用到 HauhauCS 的无审查 Qwen3.8-27B 上，发布 Defiance Uncensored GGUF，移除拒绝层，提供 Joker、Dr. House、20-agent Einstein panel 等 40 种模式。权重与上游逐字节一致（866 个 tensor 全部核对），IQ4_XS 量化 15.7 GB 可在 24 GB 显卡跑 131K 上下文，RTX 4090 上 instruct 模式解码 86-90 tok/s，兼容 llama.cpp、LM Studio 和 Ollama。
mradermacher 在 Hugging Face 上发布 Vietnamese-4B-Chat-abliterated 的 imatrix 加权 GGUF 量化版本，提供从 i1-IQ1_S（1.5GB）到 i1-Q6_K（3.6GB）的多种量化文件，其中 Q4_K_M 被标注为快速且推荐，Q4_K_S 为大小/速度/质量最优。该模型为视觉模型，mmproj 文件放在静态仓库中，静态量化版本另行提供。
开源工具 gguf2mlx 新增 Qwen3VLTextEncoderConverter，可将 Qwen3-VL-8B 的文本条件组件转换为 BF16 safetensors，保留多模态 RoPE 分段和视觉 token ID，默认 BF16 输出，FP32 解码避免 FP16 溢出。工具面向 Apple Silicon Mac，把 GGUF 模型转成 MLX-LM 兼容的 HF 风格目录，支持 LLaVA、Qwen2-VL 和 MiniCPM-V 4.7 的 VLM 适配器、显式 direct-quant 4-bit 量化及 .mlx 打包与 SHA-256 校验。仓库明确声明文本转换未经真实推理的隐藏状态或画质验证，不支持安静降级精度，未知架构直接失败而非回退。
推荐理由：README明确区分已验证与未验证的转换边界，并把Qwen3-VL文本编码器的精度和mRoPE保留写清楚，适合想在Mac上做GGUF转MLX的读者。
BoldingBuilds 发布 Meta Muse Spark Open（816B 总参数 / 42B 激活）的无审查 abliterated 版本，直接在 Unsloth UD-IQ1_S GGUF 上原位编辑，全程不做 BF16 反量化。拒绝率从原版 85.06% 降到 1.30%（StrongREJECT 留出集），ForbiddenQuestions 上从 60.00% 降到 0.00%，XSTest 过度拒绝保持 0%，MATH-30 为 25/30 对原版 26/30。方法为对 62 层中第 10-53 块做读写侧投影（λ=1.0，每块单独估计拒绝方向，共 61 个方向），编辑 309 个张量、256 个路由专家未动，λ=0 时输出与输入字节一致作为自检门槛。
推荐理由：原文给出拒绝率前后对照与逐块方向估计方法，读者可据此判断这个去对齐版本实际去掉了多少、代价多大。
mradermacher/Vietnamese-4B-Chat-abliterated-GGUF 是一个 abliterated 版本的越南语 4B Chat 模型 GGUF 量化仓库，提供 Q4_K_M 等量化版本。该模型可通过 llama.cpp 在 macOS、Linux、Windows 上运行，支持启动 OpenAI 兼容的本地服务器或终端直接推理，也可通过 Ollama、Docker Model Runner、LM Studio、Jan 等工具加载，并可接入 Pi、Hermes、OpenClaw 等 Agent 工具。
Hugging Face 上的 mradermacher/Qwen3-4B-Instruct-2507-abliterated-i1-GGUF 仓库提供基于 Qwen3-4B-Instruct-2507 的 abliterated 处理版 GGUF 量化模型，供用户按硬件兼容性下载使用。
mlx-community 在 Hugging Face 发布 Qwen3.8-27B-Uncensored-OptiQ-4bit-MTPLX 模型仓库。该模型目前未部署到任何 Inference Provider，下载量未被统计，README 文件为空。
用户在 16GB VRAM 上用 llama.cpp 测试 NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF（IQ2_XSS 官方量化），20k 输入、贪心解码下 v0.7.0 达 168.8 tok/s，为各构建方案最佳，其余变体差异在噪声范围内。Strata 风格的专家路由 profiler 经 #30594 可用于 llama.cpp，但混合模式因 PCIe Gen5 x16 上传快于 CPU 计算而降至 89–98 tok/s；GPU 缓存预热后命中率约 82%。专家缓存 7.5 GB 为安全上限，draft 默认设置（每步 3 token、无置信阈值）最优。
Hugging Face 上架了 mradermacher 制作的 LFM2.5-24B-A2B-Uncensored-Heretic-i1 的 GGUF 量化版本。该模型为无审查版本，仓库页面显示模型规模为 28M params，支持通过 GGUF 格式在本地硬件上运行。
Uniboshi/Hy-Memory-30B-A3B-Abliterated-V1 的 MXFP4 量化版本已在 Hugging Face 开放访问，需同意条件后下载。该模型可用 Transformers、vLLM、SGLang 及 Docker Model Runner 运行，vLLM 和 SGLang 均提供 OpenAI 兼容 API。模型用于对已授权资产的防御性用途。
huihui-ai 基于 Qwen/Qwen3.8-Flash-Next 通过 abliteration 技术移除拒绝行为，发布去审查的 GGUF 版本 v2。相比第一版调整了消融重点，且未对专家（experts）进行消融，适合小说写作和编程。该版本安全过滤大幅降低，建议用于研究、测试或受控环境，支持最新 llama.cpp，示例命令上下文长度为 262144。
mradermacher 在 Hugging Face 上提供 NeoHorse-1-9-Uncensored-i1-GGUF 量化模型（如 Q4_K_S 版本），可通过 llama.cpp 直接运行。该模型支持 llama serve 启动本地 OpenAI 兼容服务器，也可在 Ollama、Docker Model Runner、LM Studio、Jan、Pi、Hermes、OpenClaw 等工具中使用。
TendieLabs 在 Hugging Face 上发布 Swift-1.5-Qwen3.8-27B-Uncensored 的 EXL3 6.0bpw 量化版本。该模型基于 Qwen/Qwen3.8-27B，经 ukisai/Swift-1.5-Qwen3.8-27b 与 ajgazin/Swift-1.5-Qwen3.8-27B-Uncensored-MTP 微调而来。目前无 Inference Provider 部署，README 为空，下载量未被统计。
Hugging Face 上线 mradermacher 制作的 LFM2.5-24B-A2B-Uncensored-Heretic 静态量化 GGUF 模型仓库。该模型目前未被任何 Inference Provider 部署，下载量未被追踪，用户可申请提供推理支持。
mradermacher 在 Hugging Face 上提供 Irwan-LightOnOCR-3-0.8B-abliterated 的 GGUF 量化版本，支持 Q4_K_M 等量化格式。该模型为 image-text-to-text 类型，可通过 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker 等多种方式加载或启动 OpenAI 兼容 API 服务。
Hugging Face 发布 mradermacher/NeoHorse-1-9-Uncensored-GGUF 量化模型的使用说明，涵盖 Q4_K_S 量化版本。用户可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或终端直接推理，也可用 Ollama、Docker Model Runner、LM Studio、Jan、Pi、Hermes、OpenClaw 等工具加载运行。
Reddit r/LocalLLaMA 用户报告在 4 x Intel B70（128GB VRAM）、128GB RAM 的容器化 vLLM 环境中跑通 QFN 3.8 FP8，支持 256k 上下文与 MTP，实测 prefill 450 t/s、生成 20 t/s。借助 GLM 5.3 flash 等模型协助修复了多个 2^32 溢出导致的随机崩溃，目前运行基本稳定。
一位用户回顾 2025 年 3 月至今的本地 LLM 之路：从 RX 7800 XT 上跑 Mistral Nemo Q4_K_M 的 15 t/s，到双 RTX 5060 Ti 16GB 加持下，llama.cpp 0.7.0 运行 Gemma 4 31B IT QAT 超过 60 t/s 生成、1100 t/s 处理，Qwen3.8 27B 推理约 70 t/s、写代码约 100 t/s。随着 tensor split 与 MTP 引入及 Web 界面改版，本地模型已能完全替代云端 LLM。
Costume/christAIn-uncensored-Q4_0-GGUF 由 Emmet-Allen/christAIn-uncensored 经 llama.cpp 转换为 GGUF 格式，通过 ggml.ai 的 GGUF-my-repo 空间生成。模型可通过 llama-cli 或 llama-server 直接调用，server 模式支持 -c 2048 上下文设置，也可在 llama.cpp 仓库中按步骤编译后运行推理。
VicTeam Agency 基于 Alibaba Qwen 的 Qwen3.8-27B（Apache 2.0）发布去审查版 GGUF 模型，采用 huihui-ai 社区的 abliteration 去除拒答、Unsloth 动态量化，面向单显卡本地智能体开发。提供 Q4_K_XL（约 17.4 GB，质量优先）和 IQ4_XS（约 14.4 GB，可完整装入 16 GB 显存、速度更快）两种量化，可通过 llama.cpp（llama-server --jinja）和 llama-swap 运行。
Hugging Face 上架了 infercom 的 Qwen3.8-Flash-Next-Uncensored-4Q-MTP-GGUF 模型仓库。该模型目前没有部署到任何 Inference Provider，下载量未被统计，README 文件为空。
hokanosekai 发布 llama.kt，一个 Kotlin/Android JNI 绑定，可在设备端加载任意 GGUF 模型运行推理，无需服务器或云端，原生 C++ 引擎提取自 llama.rn 并以纯 Kotlin API 重新暴露。在 OPPO（MediaTek Dimensity 900）上验证，Qwen2.5-0.5B（q4_K_M）CPU 约 20 tok/s；实测显示稠密模型在大核 CPU 上最快，Vulkan 仅对 Gemma 3n/4 更优，8GB 级设备可用上限约 4B 量化模型。多轮对话通过 KV cache 前缀复用，4 轮后 TTFT 保持 1.7–2.4s，而完整重预填充约需 48s。
推荐理由：作者在真机上给出多款模型的 CPU 与 Vulkan 后端实测数据，读者可据此判断这类端侧 GGUF 推理方案的实际可用规模。