新闻、仓库与研究，按时间排列。
一个 27B 级推理模型以三值权重形式发布 llama.cpp 版本，语言模型约 5.9 GB，比 FP16 小约 9.3 倍，保留 98.2% 的 FP16 智能水平。14 项 thinking 模式基准平均 84.78，明显高于 IQ2_XXS 的 72.59，接近体积大三倍的 UD-Q4_K_XL；Apple M5 Max 笔记本上约 47 tok/s，支持 262K token 上下文，提供 PTQ1_0 和 PQ2_0 两种 GGUF 打包。
作者更新其针对 Qwen3.8-27B 的 CUDA megakernel 引擎，单张 RTX 3090 上写代码速度 140 tok/s，对比 llama.cpp（含 MTP）的 73 tok/s 快约 1.9 倍。精度方面与 llama.cpp 的 KL 散度为 0.0009，1K 上下文困惑度 2.4274 对 2.4283，作者称无可测质量损失；投机解码为精确采样。仅支持 24 GB 以上 RTX 30/40/50 系列单卡，目前只在 3090 上调优，代码与基准见 https://github.com/L-Forster/open-jet/tree/master/megakernel。
推荐理由：作者补充了与 llama.cpp 的 KL 散度和困惑度对照数据，本地部署用户可据此评估这个 3090 单卡加速引擎的精度与速度取舍。
thebadking 在 Hugging Face 发布 Qwen3.8-27B RVN Heretic Abliterated Uncensored 的 P1M 词表剪枝版本，基于 0bserverx 的 RVN-Q6_K GGUF 与 trohrbaugh 的 ARA abliteration 方法。词表从 248,320 条缩减至 129,272 条，保留 ASCII、常用符号和 256 个 byte-fallback token，模型张量逐字节保留，未重新训练或重新量化。Q6_K 量化文件 RVN-Q6_K-P1M.gguf 大小为 21.08 GB，可用 llama.cpp 运行，沿用 Apache-2.0 许可证。
Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP（Q4_K_M，已移除拒绝回复）以 NInfer v3 格式发布，单个 .ninfer 文件 15.88 GiB，逐字节保留原 GGUF 块、不重新量化，并用随附的 MTP draft 头做投机解码。模型为文本模型，支持最多 8 个并发请求、提示词前缀复用、结构化输出、OpenAI 格式工具调用与可选思考模式；在 RTX 3090 上开发测量，权重占 15.6 GiB 显存。
Reddit 用户 /u/FeydRowan 实测 Qwen3.8-27B 从 UD-Q4_K_XL 到 Q8_0 的五个量化版本，发现它们在 GSM8K、MMLU-Pro 和 IFEval 上差距均在 ±2 分内，而自建的 112 次运行 agentic 编码基准（隐藏测试、AST 注入 bug）拉开差距：27B NVFP4 解题 77%，Flash-Next NVFP4 达 98%。SWE-rebench 交叉验证趋势一致（69% vs 82%，McNemar p≈0.007），OpenCode 等测试框架的选择对结果影响也很大，Flash-Next 约 3-bit 的 Q3 版本可解决 12 项区分性任务中的 11 项。
推荐理由：作者用自建、无污染的 agentic 编码基准区分了标准评测拉不开的量化差距，方法与数据都可复用。
Reddit r/LocalLLaMA 用户从零训练并开源了 Recursive BitNet N-Gram 102M 模型，结合三值权重、共享 Transformer 层和哈希 n-gram 嵌入，训练总成本约 100 欧元，处理不到 5B tokens，支持 65,536-token 上下文。模型含 102.28M 独特参数，六个 Transformer 块共享权重运行两次；lm-eval zero-shot 基准平均分 40.59%，ARC-Easy 为 40.11%。权重、推理代码和评测结果已在 Hugging Face 发布，含 409.14MB FP32 主权重和 124.24MB 打包导出。
Adolphsson 发布 DeepSeek-V4.1-Flash-UNCENSORED 的 GGUF 量化版本，基于 dealignai 对 deepseek-ai/DeepSeek-V4.1-Flash（552B MoE，1M 上下文）的权重级 abliteration 结果转换。提供 Q8_0（508 GB）、Q4_K_M（449 GB）、Q3_K_M（374 GB）三种量化及 BF16 视觉 projector，Q4/Q3 为从 Q8 两步 requant，敏感层用 Q5/Q6/Q8；模型推理电路已按 OrcaSAQ 风格做敏感度感知量化，完整 1M 上下文（KV 约 890 bytes/token）。
推荐理由：不只放出去对齐权重，还给出逐量化的拒绝率与 NIAH 实测和 CPU 部署配方，读者可据此评估质量损失。
一位用户的应用每天处理约 500 份文档，目前使用 Qwen 3.8 27B Q5 配 150K 上下文窗口做分类、打标和法律细节提取。他想知道是否该换成知识更多但量化更低的 MoE 模型 Qwen 3.8 Next Q3_S，担心低量化导致效果变差。整套系统运行在 64 GB 内存和 R9700 上。
dadwritestech 发布开源工具 LlamaForge（MIT 许可），在浏览器中驱动 llama.cpp 官方 llama-server，提供模型加载、VRAM 适配评估、全部 200+ 服务器参数的界面化管理。支持一键安装（Windows/Linux/macOS）、llama-tts 语音、MCP server 接入 Claude Code 等智能体，并提供与 LM Studio、Ollama 的功能对比表；目前为早期预览，Windows + NVIDIA 是测试最充分的路径。
推荐理由：作者讲清了它如何驱动官方 llama.cpp 路由器、覆盖全部服务器参数，并与 LM Studio、Ollama 逐项对比，方便判断是否适合需要掌控感的本地部署用户。
hotdogs 发布 jev-Ternary-Bonsai-2-27B-Abliterated-PTQ1_0 的 TQ1_0 量化版本。用户可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或终端直接推理，也支持 Ollama、Docker Model Runner、LM Studio、Jan 等多种工具，并可在 Pi、Hermes Agent、OpenClaw 等 Agent 中配置调用。
Hugging Face 上线 mradermacher/JEV-27B-VL-Uncensored-GGUF 模型页面，提供 Q4_K_M 量化版本。页面给出在 llama.cpp、Ollama、Docker Model Runner、LM Studio、Lemonade、Pi、Hermes Agent、OpenClaw 等工具中运行该模型的安装与推理命令。用户可通过 `llama serve -hf` 或 `ollama run hf.co/mradermacher/JEV-27B-VL-Uncensored-GGUF:Q4_K_M` 等命令在本地启动 OpenAI 兼容服务器或直接推理。
ayngepaw 在 Hugging Face 发布了 dealignai/GLM-5.3-UNCENSORED-FP8 的 EXL3 量化版本，平均比特率 3.04 bpw，体积 273 GiB，含 MTP 层可作投机草稿模型。与 FP8 源对比 wikitext-2 困惑度为 3.440 对 3.302；tau2-bench 上与原版 GLM-5.3 FP8 差异不具统计显著性。作者提醒 TabbyAPI 的 glm4_5 解析器会把字符串参数误解码为整数，导致约 70% 工具调用失败，评测时已修复该问题。
Reddit r/LocalLLaMA 用户 Bayliner1980 将 Qwen2.5-0.5B 和 SmolLM2-360M 两个稠密模型转换为稀疏 Mixture-of-Experts 模型，无需从头预训练，转换结果已发布在 HuggingFace。两个 MoE 模型均含 32 个专家、top-8 路由加共享专家，每 token 的 MLP 计算量约为原来的 40% 和 44%，但在 WikiText-2/C4 困惑度和五项评测的平均准确率上均低于原始稠密模型。作者在 RTX 4060 (8gb) 上完成实验，后续计划转换更大的模型并测试更细的专家布局。
mradermacher 在 Hugging Face 发布 JEV-27B-Uncensored-GGUF 量化模型，提供 Q4_K_S 等格式。该模型可通过 llama.cpp 的 OpenAI 兼容本地服务器或终端直接推理运行，并支持 Ollama、Docker Model Runner、LM Studio、Jan、Pi、Hermes Agent、OpenClaw、Lemonade 等多种本地部署工具，覆盖 macOS、Windows、Linux 平台。
Tree-AI-lab 在 Hugging Face 上发布了基于 Qwen2.5-Coder-1.5B-Instruct 的无审查（uncensored） coder GGUF 量化模型。该模型提供 Q4_K_M 量化版本，可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Pi、Hermes Agent 等工具在本地运行，并支持以 OpenAI 兼容服务器方式部署。
Hugging Face 上线 abliterated 版 Qwen2.5-Coder-1.5B-Instruct 的 GGUF 量化模型，提供 Q4_K_M 版本。该模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Lemonade 等工具运行，支持启动本地 OpenAI 兼容服务器或在终端直接推理，也可配置到 Pi、Hermes Agent、OpenClaw 等 Agent 工具中使用。
Reddit用户/u/Ok-Breadfruit-3523用4张单价不到$100的BC-250矿卡板、通过llama.cpp加Vulkan和RPC组成本地推理集群，跑Next Flash IQ3_XXS在100k上下文下维持约60-70 tok/s，或同时跑2个Qwen3.6-35B-A3B实例达约145 tok/s、可用上下文约258K。借助Claude Code做的优化包括MTP草稿头的投机解码链、Vulkan图录制重放、针对架构的定制kernel与上下文checkpoint本地复制，整体功耗负载下600-900W，下一步计划给每块板加装AIO水冷。
推荐理由：作者完整记录了4张矿卡集群的优化路径、实测速度与功耗，方法可迁移到类似多板推理部署场景。
gyang274 发布了 huihui-ai/Huihui-Qwen3.8-27B-abliterated 的 FP8 量化版，权重为 FP8 E4M3、128×128 分块，保留 MTP head 和 vision tower，检查点 28.75 GiB。与官方 Qwen3.8-27B-FP8 对比只有 70/1,606 张量不同，且全部是写入残差流的 rank-1 编辑；SGLang v0.5.21 评测中 HumanEval 95.7%（官方 98.2%），GSM8K 前 200 题 94.5%（官方 97.5%），15 条易拒 prompt 中 0 拒绝（官方 2 partial），单流解码约 62 tok/s。完整笔记与脚本见 github.com/gyang274/ms-Qwen3.8-27B。
推荐理由：作者量化了去对齐模型并给出与官方权重的逐张量对比和评测数据，读者可以看到去对齐编辑的具体痕迹和性能代价。
AutoTrust 发布 autotrust/JEV-35B 的 NVFP4 量化版，将 40 层 × 256 个共 10,240 个路由专家 MLP 量化为 NVIDIA 4 位浮点格式，其余组件保持 bf16 不变。权重下载从 71.9 GB 降至 25.6 GB，vLLM 显存占用 23.3 GiB（−65%），单张 32-48 GB GPU 即可部署；文本 Decision Index 59.75 对比 bf16 的 59.18，五项能力均在 bf16 的 1.2 分以内。该模型基于 Qwen3.5-35B-A3B，与 TypeSafe AI 的闭源托管模型 TypeSafe Jev 1.13 无关联，可通过 vLLM 直接加载。
一位 Reddit r/LocalLLaMA 用户询问能否在 RTX 5090 上用 vLLM 运行 Qwen3.8-27B-FP8，并认为因最小上下文限制极不可行。他目前用 NVFP4 版本（quasar-qat）流畅运行，支持图像和最高 256k 上下文，该模型仓库大小为 30.9GB，他想对比 FP8 与 NVFP4 在精度上的差异。
DavidAU 的 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP 模型现提供 MLX 优化版本，用于 Apple Silicon 推理。该版本由 Q8_0 GGUF（30.24 GB）转换而来，866 个张量全部反量化为 float16（约 55 GB，12 个分片），质量与原 GGUF 权重一致、无精度损失。架构为 Qwen3.5 dense（65 层、5120 hidden、24 heads、248320 vocab），采用 Apache-2.0 许可证。
/u/sayamss 分享为客户端搭建的 $18k 本地部署：Threadripper 9970x、128gb DDR5 ECC、4x AMD Radeon R9700 AI Pro 32gb（共 128gb VRAM）、1600W PSU，GPU 降压至 210w 以内。用 Radiance 的 fork 服务 Qwen 3.8 Next flash/27b 和 DSV4 Flash；16 并发下 Qwen 3.8 27b MXFP4 聚合 prefill 6.3-6.8k tok/s，decode 900-80 t/s；int4fp8 在 48K/user 时 6,880 tok/s、128k/user 时 3,050 tok/s。
Huihui-ai 发布基于 Qwen/Qwen3.8-27B 的去审查（abliterated）GGUF 版本 Huihui-Qwen3.8-27B-abliterated，通过 abliteration 技术移除模型拒答行为。多个衍生系列仅对 0 起始索引的第 22 到 52 层做消融，并采用 Q2_K_L 至 Q8_0_L 等混合量化以提升响应质量；MTP 与视觉部分未修改。可通过最新版 ollama 或 llama.cpp 运行（-c 262144），官方提示安全过滤已大幅降低，建议仅用于研究测试环境。
arthurbm 在 GitHub 发布 berth-ai，一个 local-first 移动应用，可在设备上下载并运行 GGUF 模型，通过 llama.rn 与 @react-native-ai/llama 做本地推理和持久化聊天，并把手机暴露为 OpenAI 兼容的 HTTP 推理端点，主契约是 /v1/responses，兼容 /v1/chat/completions。HTTP provider 目前仅 Android 可用，iOS 上本地聊天可用但 provider 仍为实验性；/v1/* 需 bearer token，应用依赖原生模块，不能在 Expo Go 中运行。
推荐理由：项目把手机做成可复用的本地推理端点而非单纯聊天应用，这种以 provider 为核心的架构思路对做本地部署的人有参考。
erichartford/gemma-3-1b-it-abliterated-mlx-8Bit 现已在 Hugging Face 上提供，该模型由 mlabonne/gemma-3-1b-it-abliterated 转换为 MLX 格式，使用 mlx-lm 0.22.1，并以 8Bit 量化。用户可通过 pip 安装 mlx-lm，用 load 与 generate 接口加载模型并生成回复。
AtomicChat 在 Hugging Face 发布 Qwen-Image-2.1-Turbo 的无对齐 GGUF 编码器，将文本编码器 Qwen3-VL-8B-Instruct 的拒绝方向投影移除，作为聊天模型时英文拒绝率从 88.9% 降到 1.2%，俄语从 38% 降到 0%，MMLU 保持 77.35% 不变。实测显示原版 Qwen-Image 流水线本就能绘制全部 45 条敏感提示词的结果，45 条提示词无一翻转，图像 LPIPS 偏移约 0.088。文件按 BF16 到 Q2_K 量化阶梯提供，配 AD 布局和重要性矩阵，可用 stable-diffusion.cpp 以 --llm 参数本地运行，方法沿用 Arditi et al. 的单方向消融。
同一新闻，精选展示《AtomicChat 发布 Qwen-Image-2.1-Turbo-Uncensored GGUF 文本编码器，拒绝率从 88.9% 降至 1.2%》
Reddit 用户 /u/chibop1 称在 M3Max 64GB Mac 上用 oMLX 最新 commit 成功运行 Qwen3.8-Flash-Next-oQ4e-mtp，自己从 Qwen 仓库手动量化为 OQ4E，约 4.72 BPW。4K 上下文生成 1K token 可达 30 tok/s，最长跑过 130k 上下文；真实会话实测 prompt 处理 140.0 tok/s、生成 15.8 tok/s、缓存效率 90.9%，并给出了 memory guard、SSD N-gram Offload、MoE Expert Offload 等 oMLX 设置。
Kre80r 在 Hugging Face 发布 ThinkingCap-Qwen3.8-27B-Uncensored-Heretic 的 AutoRound W4A16 量化版，采用对称 4-bit 权重、group size 128，体积从 54.7 GB 降至 18.7 GB，上下文长度 262,144 保持不变。量化在 2x RTX 3090 上约 8 小时完成，已在 vLLM 0.29.0 中通过加载和文本、图像、工具调用冒烟测试，但未做质量评测。该模型经 Heretic 去审查处理、安全对齐大幅削弱，仅限研究与实验用途，许可为 PolyForm Small Business 1.0。
Hugging Face 上新模型 gorbatjovy/Swift1.5-Qwen3.8-Flash-Next-abliterated-EXL3-4.05bpw_h6_ng6-v2，是基于 ukisai/Swift1.5-Qwen3.8-Flash-Next 的 abliterated EXL3 4.05bpw 量化版本，供 veloGB10 使用。该模型为多模态图像文本到文本模型，文档提供 Transformers、vLLM、SGLang 及 Docker 的调用示例，均支持 OpenAI 兼容 API。
/u/dh7net 实测 Qwen3.8-Flash-Next 的 IQ3_S 量化版（ISTA-DASLab GSQ-RCO GGUF）在 RTX 5090 上经 Strata 服务、pi harness 运行 airbench 测试套件，11 分钟拿到 100% 得分，而 Claude Code 同任务同分但耗时 14 分钟；作者更正原标题未说明这是面向日常任务的基准，不是区分前沿模型的评测。复现需 24GB 以上显存、约 64GB 内存和 90GB 磁盘，IQ3_S 在 256k 上下文下约需 78GB 内存。同一服务器上 omp 18.4.2 得 48/49（16 分钟）、opencode 1.18.29 得 46/49（11 分钟）、dsh 0.2.0-rc.2 得 47/49（11 分钟）。
推荐理由：作者在 RTX 5090 上实测同一本地模型配不同 Agent 框架的 airbench 得分与耗时，并给出可复现的完整部署配置。
dealignai 以 CRACK 方式在权重层面去除 GLM-5.3-Flash FP8 版的拒绝行为，HarmBench-320 上 320/320 全部服从、0 拒绝，MMLU 87.33% 高于基座的 86.74%。模型为 320B 总参数、18B 激活的混合 MoE，支持 1M 上下文与视觉，H200 上原生 FP8 解码 163 tok/s（MTP 投机解码 211 tok/s，接受率 75.9%）。2026-08-28 更新修复了重复循环问题，需重新下载；reasoning-off 与 max 档完全去对齐，low 档保留部分拒绝；max 档需 max_tokens ≥ 6000 否则回复为空。
推荐理由：原文给出权重级去对齐的具体方法和 HarmBench-320、MMLU 前后对照数据，读者可据此判断消融效果与能力保留情况。
社区将 Blackfrost 的 Qwen3.8-27B-ABLITERATED（27B 参数）转换为 Inco AI 开源推理引擎 Splash 的 splash-packed-q4 格式，供 LM Studio 在 Apple silicon 上运行。包内含 4-bit affine 量化目标权重（组大小 64）、DFlash 2 投机解码草稿模型、BF16 视觉编码器和 tokenizer，磁盘约 16 GiB，原生上下文 262,144 tokens。转换仅做量化与重排，未改动权重；需 M3 或更新芯片、macOS 26.4+ 及至少 36 GB 统一内存。
AtomicChat 发布 Qwen-Image-2.1-Turbo 的 abliterated 文本编码器 GGUF，将 Qwen3-VL-8B-Instruct 的拒绝方向投影去除，作为聊天模型拒绝率从 88.9% 降至 1.2%（英文）和 38% 降至 0%（俄语），MMLU 保持 77.35% 不变。提供 BF16 到 Q2_K 量化阶梯，AD-Q4_K 的图像 LPIPS 偏移为 0.087（约为换 seed 偏移的六分之一）；实测 45 条敏感提示词中无一改变出图结果，因原版 Qwen-Image 开放权重管线本无过滤器。
同一新闻，精选展示《AtomicChat 发布 Qwen-Image-2.1-Turbo-Uncensored GGUF 文本编码器，拒绝率从 88.9% 降至 1.2%》
基于的 timteh673/Holo4-27B-Abliterix 量化模型上架 Hugging Face，采用 EXL3 4bpw 量化，源自 Hcompany/Holo4-27B 的 BF16 全精度权重，拒绝方向消融由 timteh673 用 Abliterix 完成。仓库移除了悬空的 MTP 配置且不含 MTP 草稿模型，保留原生 tokenizer 和聊天模板，发布前已用 EXL3 加载并完成文本冒烟验证。该模型仅限 CC BY-NC 4.0 非商业使用，需使用兼容 EXL3 的推理软件。
pierpaolo 在 Hugging Face 发布了 Swift-1.5-Qwen3.8-27B-NVFP4-Uncensored-MTP 的 GGUF 构建，基于 UkisAI Swift 1.5 对 Qwen3.8-27B 的微调，把安全拒绝方向从权重中投影移除，并从带审查的上游版本合并 MTP 头以支持 llama.cpp 的 --spec-type draft-mtp 推测解码。
推荐理由：作者给出了拒绝方向的投影方法、消融后拒绝率前后对比和 MTP 接受率数据，读者可据此判断这个去对齐版本的去对齐程度和性能代价。
SargeDev 在 Hugging Face 发布 JEV-27B-VL-Uncensored-NVFP4，将 AutoTrust 的 System-1 决策模块合并进 huihui-ai 的 Huihui-Qwen3.8-27B-abliterated 底座（layers 18-51 ablated，视觉塔不动），再做 NVFP4 量化（文本塔 W4A4 + FP8 down_proj，视觉塔保留 bf16）。在 27,695 行测试集上，noul AUROC 从 0.9961 降至 0.992，choice 与 score top-1 分别下降 3.4 和 7.6 个百分点，未达原厂门槛；温度重校准后 ECE 全部达标，10 条提示词测试拒绝率为 0.0。
推荐理由：原文给出换用 abliterated 底座前后在 27,695 行测试集上的指标对照，能看清去对齐替换底座对决策能力与校准的实际代价。
SargeDev 发布 JEV-27B-VL-Uncensored 的 EXL3 量化版，将 AutoTrust System-1 决策模块合并进 huihui-ai 去审查版 Qwen3.8-27B 骨干，量化约 3.0 bpw 路由权重。在 jev-distill-corpus-v3 的 test_set_30k（27,695 行）评测中，noul AUROC 0.992 通过门槛，但 choice top-1 0.870 与 score top-1 0.814 未达门槛。EXL3 精度校准测试尚未完成，refit 温度未经此精度验证。
huihui-ai 发布 abliterated 版 Qwen3.8-Flash-Next，通过 abliteration 技术在不使用 TransformerLens 的情况下去除模型的拒绝回复行为。GGUF 文件来自 unsloth 系列，支持最新版 Strata 和 llama.cpp，可用 llama-cli 以 262144 上下文长度运行。该模型安全性过滤被大幅削弱，仅建议用于研究和受控测试环境，不适合生产或公开商业应用。
sjoe1244 发布了 llmfan46/Qwen3.8-27B-Uncensored-Heretic 的 EXL3 量化版，权重、lm_head、视觉塔和 MTP 头均为 4-bit，仅支持 TabbyAPI 或 ExLlamaV3。在一块 RTX 4090 上实测：加载后显存 21.0 GB，无思考模式 155–167 tok/s，MTP 起草接受率 81%；作者注明只做了短测，最长提示词 9K tokens，质量未对照 BF16 源模型。许可为 Apache 2.0，去对齐工作来自 llmfan46。
推荐理由：作者给出了单张 24 GB 卡上的实测数据，包括显存、速度和 MTP 接受率，对想本地跑同款量化的人有直接参考价值。
一位 Reddit 用户询问能否在 64GB 内存的 Mac 上运行 Qwen3.8-Flash-Next-4bit，并更新确认可行。其设备为 m3Max 64GB，最多可将 58GB 分配给 GPU。作者还希望借助 Strata、omlx 等引擎从 SSD 流式加载模型，并了解可用的上下文长度和速度。