Kimi K3 消融版 GGUF 量化发布，附 74 条提示的三率拒绝行为实测
AzynTT 在 Hugging Face 发布 Kimi K3（2.8T 参数 / 104B 激活 / 896 experts top-16）的 abliterated GGUF 量化 IQ1_S-XS，共 539.7 GiB、34 分片，将拒绝方向从写入残差流的 279 个张量中正交化移除。
推荐理由：原文给出拒绝率、过度拒绝、答非所问三率实测和完整消融方法，还如实标注样本量不足的统计局限。
#量化
新闻、仓库与研究，按时间排列。
Hugging Face · 新模型：uncensored精选AI 评分5656 Reddit · r/LocalLLaMA精选AI 评分7272 airbench.ai 榜单实测：本地模型搭配哪个 harness 差别巨大
/u/dh7net 发布自建基准 airbench.ai 榜单，用真实任务（数学、视觉、电脑操作、编码）实测本地模型与 harness 搭配的能力和速度，参考基准为 Claude Code Opus 5.5 的 100%（14 分 26 秒），本地 zcode/4xRTX6k/glm-5.3-flash-NVFP4 同样可达 100%（31 分 13 秒）。
推荐理由：作者用自建基准实测了多组模型与 harness 的本地搭配，给出同一模型在不同 harness 下得分差距可达 22% 到 96% 的数据。
Reddit · r/LocalLLaMAAI 评分3838 
64 GB Mac mini 上 MoE SSD 流式读取：decode 仍有 27% 时间 GPU 在等专家权重
Reddit 用户在 64 GB Mac mini M5 上以 SSD 流式方式运行 qwen flash next q4（QFN 装不下内存），实现 17.5 tks decode、390 tks pp，热缓存命中率 75%，预取准确率 72%。
Hugging Face · 新模型：uncensoredAI 评分2222 Qwen3.5-9B-UNCENSORED-Heretic 发布 ComfyUI 重打包版
DarkRomeo88 在 Hugging Face 发布面向 ComfyUI 重打包的 Qwen3.5-9B-UNCENSORED-Heretic 去审查模型文件，提供 INT8_convrot、W4A8、W6A8 三种版本，需放入 ComfyUI/models/text_encoders/ 目录，已在 ComfyUI v0.38+ 上测试可用。
Hugging Face · 新模型：uncensored精选AI 评分5858 Qwen3.8-Flash-Next 无对齐量化版发布：4-bit 专家码本 + int8 主干
StillDeadcode 发布 Qwen3.8-Flash-Next 的无对齐版本，消融了原模型的拒绝方向，打包为单一 .rad 容器用于 radiance 推理引擎（AMD RDNA4、ROCm）。
推荐理由：模型卡不仅宣布去对齐，还给出与 bf16 原始权重的全词表 KL 散度和 top-1 一致率数据，可据此评估量化误差。
Hugging Face · 新模型：abliteratedAI 评分3636 huihui-ai 发布 Huihui-gemma-4-12B-agentic-fable5-abliterated-GGUF 去审查版模型
huihui-ai 基于 yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-GGUF 制作并发布 abliterated 去审查版 GGUF 模型，整个消融过程完全使用 llama.cpp 完成，不依赖 Transformers。
Hugging Face · 新模型：abliteratedAI 评分3939 Huihui-Qwen3.8-27B-abliterated-GGUF：Qwen3.8-27B 去审查版发布
huihui-ai 基于 Qwen/Qwen3.8-27B 通过 abliteration 技术去除拒绝回复，发布无审查版 Huihui-Qwen3.8-27B-abliterated-GGUF，仅对 22 至 52 层（0 起始索引）做消融，其余层保持原样。
GitHub · 去对齐工具与仓库精选AI 评分7676 
PXA v2026.10.2 发布：面向 P100/V100 的推理引擎与 PXQN 量化格式
poisonxa16 发布 PXA v2026.10.2，为 Tesla P100、V100 和 GTX 10 系列提供 PXQN 量化格式、tensor split、MTP 投机解码与一键 PXA Control 网页控制台。
推荐理由：原文给出了 PXQN 各档位与 K-quant 的 KL 散度对比和 P100/V100 实测速度表，可据此评估老卡部署 27B 的收益。
GitHub · 去对齐工具与仓库精选AI 评分5858 ForgeLLM 开源：面向开放大模型的微调与 MLOps 控制平面
作者发布开源项目 ForgeLLM，提供管理大模型生命周期的控制平面与开发平台，统一覆盖数据准备、LoRA/QLoRA SFT、评测、MLflow 追踪、回归质量门控与模型注册管理。
推荐理由：开源的 LLM 微调控制平面项目，覆盖数据、训练、评测与回归门控全流程，并附在 4GB 消费级 GPU 上的完整实验数据与复现产物。
Reddit · r/LocalLLaMAAI 评分1818 vLLM 到底该怎么学？LocalLLaMA 用户求解学习路径
一位 Reddit r/LocalLLaMA 用户发帖询问如何系统学习 vLLM，称其生态系统难以理解，读官方文档也分不清 server 与 client library 的区别。
Reddit · r/LocalLLaMAAI 评分5555 双 5070 Ti 上把本地 agent 从 Qwen3.8 27B 换成 Ornith 1.5 35B-A3B：180 tok/s 对 60，自测成绩持平
作者在双 RTX 5070 Ti 16GB + Ollama 的本地 agent 上，把日常模型从 Qwen3.8 27B UD-Q4_K_XL（55-70 tok/s）换成 Ornith 1.5 35B-A3B（Q4_K_M），自建两项测试（9 步长会话和 10 个编码任务）两者均 9/9、10/10，而生成速度约 180 tok/s，约为原来的 3 倍。
Hugging Face · 趋势模型AI 评分3333 Comfy-Org 发布 Qwen-Image-2.1 的 ComfyUI 重打包模型文件
Comfy-Org 在 Hugging Face 上发布了 Qwen-Image-2.1 的 ComfyUI 重打包模型文件，提供 bf16、int8_convrot 等量化版本。
Hugging Face · 趋势模型精选AI 评分7474 
humanizer-12B v2 发布：将 AI 稿改写为人类风格，支持中英文本地运行
jialinyyzz 在 Hugging Face 发布 12B 改写模型 humanizer v2（微调自 google/gemma-4-12B，Apache 2.0），用于把 AI 生成的邮件、论文、报告等草稿改写成人类风格，支持中英文并可本地运行。
推荐理由：作者给出与上一版在同一批草稿上的对照数据和分体裁检出率，可据此评估这版改写在事实保真和检测表现上的实际变化。
Hugging Face · 趋势模型精选AI 评分7878 orcarouter 发布 Qwen3.8-Flash-Next 去对齐版 GGUF 量化（2-bit 至 8-bit）
orcarouter 在 Hugging Face 放出 Qwen3.8-Flash-Next 的去对齐（abliterated）GGUF 量化版本，覆盖 2-bit 到 8-bit，供 llama.cpp 运行。
推荐理由：原文给出消融后拒绝率从64-100%降到约0-3.3%、能力与基线差±2分以内的实测数据，并说明各量化的取舍。
Hugging Face · 趋势模型精选AI 评分7676 
Unsloth 发布 Qwen3.8-27B Dynamic v3.0 GGUF 量化版
Unsloth 在 Hugging Face 发布 Qwen3.8-27B 的 Dynamic V3.0 GGUF 量化版本，称同等体积下精度比其他所有 GGUF 提供方高出逾 10%。
推荐理由：原文给出了 Dynamic v3.0 量化在同等体积下与其他 GGUF 提供方的精度对比，以及 27B 密切模型的完整架构与部署参数。
Hugging Face · 新模型：uncensoredAI 评分2626 Qwen3.8-Flash-Next-Uncensored MLX 混合 3/4/8bit BF16 SSD Ngram 仓库上传完成
Hugging Face 用户 yomie4343 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX Sushi 混合 3/4/8bit（group size 64）加 BF16 SSD Ngram 仓库，全部 115 个文件经哈希校验完成上传，总大小约 156.93GiB，其中 ngram_table.bin 单文件 102.4GB。
Reddit · r/LocalLLaMAAI 评分5454 
在 Mac Mini M5 64GB 上用 SSD 流式读取跑通 Qwen Flash Next Q4 的实测与优化
Reddit 用户 /u/turtleninja99 在 Mac Mini M5 64GB 上通过 SSD 流式读取跑通 Qwen Flash Next Q4，实测 decode 17.5tks、prompt processing 360tks。
GitHub · 去对齐工具与仓库精选AI 评分7272 Distillery：把大模型蒸馏成单任务小模型的开源流水线
gelevanog 发布开源项目 Distillery，提供从教师模型生成与标注数据、LoRA 微调小模型到路由器分流评测的完整可复现流水线。
推荐理由：作者用真实跑通的数据展示蒸馏全流程的每一步收益与短板，包括路由器分流比例和每千条成本，方法可直接迁移到类似单任务场景。
GitHub · 灵魂体仓库AI 评分3636 OpenVINO 神经网络压缩框架 NNCF 简介
NNCF（Neural Network Compression Framework）提供一套训练后与训练中压缩算法，用于在 OpenVINO™ 上以最小精度损失优化神经网络推理，支持 PyTorch、TorchFX、ONNX 和 OpenVINO 模型。
Hugging Face · 新模型：uncensoredAI 评分3131 burningfeet 发布 Qwen3.6-35B-A3B-Uncensored-Genesis-Final 的 SafeTensors BF16 重建版
burningfeet 在 Hugging Face 发布 Qwen3.6-35B-A3B-Uncensored-Genesis-Final 的 SafeTensors/BF16 重建版，由 MarMix 从 Q8_K_P GGUF 转换而来，非原始无损 BF16 权重，缺失的 vision/MTP 张量复制自 Qwen/Qwen3.6-35B-A3B。
Hugging Face · 新模型：uncensoredAI 评分4444 Qwen3.5-4B-Uncensored-HauhauCS-Aggressive 去审查版模型发布
HauhauCS 基于 Qwen3.5-4B 推出去审查的 Aggressive 变体，在 0/465 拒答测试下完全去除拒绝回复且不损失原始能力，提供 BF16（7.9 GB）至 Q4_K_M（2.6 GB）多种 GGUF 量化。
Hugging Face · 新模型：uncensoredAI 评分4242 Pwdz-1 Uncensored：基于 GLM-5.3-Flash 的无审查多模态模型上线 Hugging Face
Pwdz-1 Uncensored 是基于 GLM-5.3-Flash 架构的 320B 级稀疏 MoE 多模态模型，原生视觉塔支持图文输入，上下文窗口达 1,048,576 token，经无拒绝微调可直答不回避。
Hugging Face · 新模型：abliteratedAI 评分5050 Huihui-Qwen3.8-Flash-Next-abliterated EXL3 4bit 量化版发布
Hugging Face 用户发布 Huihui-Qwen3.8-Flash-Next-abliterated 的 4.05 bpw EXL3 量化版本，基于修正后的 BF16 源权重以 strength1.0 消融后量化，包含 MTP、视觉和 n-gram 表。
Hugging Face · 新模型：uncensoredAI 评分2424 MarMix 发布 Qwen3.6-35B-A3B-Uncensored-Genesis-Final-Safetensors-MLX-4bit 量化模型
MarMix 在 Hugging Face 上架 Qwen3.6-35B-A3B-Uncensored-Genesis-Final-Safetensors-MLX-4bit，为 35B 参数模型的 MLX 4bit 量化版本，张量类型为 U32、BF16 与 F32。该模型目前未部署到任何 Inference Provider，月下载量为 12。
Hugging Face · 新模型：abliterated精选AI 评分6969 shefowl 发布 Qwen3.8-Flash-Next 混合精度 GGUF 量化版
shefowl 发布了 Qwen3.8-Flash-Next 的混合精度 GGUF，非专家张量取自 SC117 的 IQ3_XXS 档、路由专家张量取自 Q2_0 档，逐字节复制未重新量化，权重为上游已去拒绝的 abliterated 版本。
推荐理由：作者给出了与 IQ3_XXS 和 Q2_0 档在困惑度、解码速度和内存占用上的实测对比，可据此权衡这套混合量化的取舍。
Hugging Face · 新模型：uncensored精选AI 评分6666 Swift-Qwen3.8-27B 无对齐消融版发布，拒绝率从 98/100 降至 15/100
发布 Swift-Qwen3.8-27B 的 abliterated 无对齐版本，采用 orcarouter/Qwen3.8-27B-Uncensored 的单方向拒绝消融方法，从权重差异中恢复拒绝方向后投影到 Swift 的 131 个张量。
推荐理由：原文给出拒绝率与 KL 散度的前后对照数据，以及恢复拒绝方向并投影到 Swift 权重的完整方法，可复现性较强。
Hugging Face · 新模型：abliteratedAI 评分4242 Huihui-Qwen3.8-Flash-Next-abliterated EXL3 3bit 量化版发布
Hugging Face 用户发布 Huihui-Qwen3.8-Flash-Next-abliterated 的 3.05 bpw EXL3 量化版本，基于修正后的 BF16 源权重以 strength1.0 消融后重建，包含 MTP、视觉和 n-gram 表，无需运行时消融 hook。
Hugging Face · 新模型：abliteratedAI 评分2828 mradermacher 发布 Qwopus3.8-27B-Flash-V2-abliterated GGUF 模型
mradermacher 在 Hugging Face 上发布 Qwopus3.8-27B-Flash-V2-abliterated 的 GGUF 量化版本。
Hugging Face · 新模型：uncensored精选AI 评分5353 GLM-5.3-UNCENSORED 发布 EXL3 3.0bpw 量化版，附量化保真度与 Agent 评测数据
Ars14n 在 Hugging Face 发布 dealignai/GLM-5.3-UNCENSORED-FP8 的 EXL3 量化版（3.04 bpw，273 GiB），上游是对 zai-org/GLM-5.3 做权重编辑（非微调）的去对齐变体。
推荐理由：作者给出了量化前后的 KL 散度和 tau2-bench 对照数据，并指出 glm4_5 解析器会把字符串参数误转整数导致约七成工具调用失败。
Hugging Face · 新模型：abliteratedAI 评分4040 Huihui-Qwen3.8-Flash-Next-abliterated EXL3 5bit 量化版发布
Hugging Face 上发布 Huihui-Qwen3.8-Flash-Next-abliterated 的 5.05 bpw EXL3 量化版本，基于修正后的 BF16 源权重以 strength1.0 消融后量化，包含 MTP、视觉和 n-gram 表，无需运行时消融 hook。
Hugging Face · 新模型：abliteratedAI 评分3434 Hugging Face 上架 moixx/Huihui-GLM-5.3-Flash-abliterated-GGUF 模型使用指南
Hugging Face 提供 abliterated 版 GLM-5.3-Flash 的 GGUF 量化模型（如 UD-Q4_K_XL）的多框架使用方法，涵盖 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker 等部署方式，并给出 OpenAI 兼容 API 的本地服务器启动与调用示例。
Hugging Face · 新模型：uncensoredAI 评分4646 minas2025 发布 Gemma-4-E2B-Conversational-Uncensored GGUF 微调模型
minas2025 基于 Gemma 4 E2B 的 Heretic-abliterated 版本发布对话向微调模型，经 1,000 步 QLoRA 训练并量化为 GGUF，Q8_0 文件约 5.1 GB，可在 llama.cpp、LM Studio、KoboldCpp 等本地运行。
Hugging Face · 新模型：abliteratedAI 评分4848 Pwdz-2 Abliterated 发布：基于 GLM-5.3-Flash 的去拒绝多模态模型
Pwdz-2 Abliterated 基于 GLM-5.3-Flash 架构的 320B 级稀疏 MoE 模型，通过权重空间消融移除拒绝行为，保留完整推理与指令遵循能力。
Hugging Face · 新模型：uncensoredAI 评分3535 
Qwen-Image-2.1 Uncensored GGUF 量化版本发布
jam2778 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的 Uncensored GGUF 量化，基于原始上游权重，提供 BF16、Q8_0、Q6_K、Q4_K_M 等多档文件，Q4_K_M（4.60 GB）为推荐版本，无内置安全审查，可直接生成成人及 NSFW 图像。
Hugging Face · 新模型：abliteratedAI 评分5050 Huihui-Qwen3.8-27B-abliterated GGUF 发布：去审查版 Qwen3.8-27B
huihui-ai 基于 Qwen/Qwen3.8-27B 用 abliteration 技术制作去审查版 GGUF 模型，仅对部分层（如 22 至 52 层）做消融，MTP 与视觉部分未改动。
Hugging Face · 新模型：uncensoredAI 评分4242 
xtonousou 发布 Qwen3.6-Deckard-40B-Uncensored：经 Heretic 去审查并用 Claude 4.6 Opus 蒸馏数据训练
xtonousou 在 Hugging Face 上发布 Qwen3.6-Deckard-40B-Uncensored，将 Qwen 3.6 27B 稠密扩展至 40B 参数，先经 Heretic 完全去审查，再用 Deckard/PDK 数据集和 Claude 4.6 Opus 蒸馏数据经 Unsloth 训练。
Hugging Face · 新模型：uncensored精选AI 评分7272 DeepSeek-V4.1-Flash 无对齐 EXL3 量化版发布，可在 2× DGX Spark 上运行
dealignai 团队发布 DeepSeek-V4.1-Flash 的 abliterated 无对齐版本，量化为 EXL3 2.9bpw，约 197 GiB，可在两台 DGX Spark (GB10) 上以 TP=2 部署。
推荐理由：原文给出 HarmBench 拒绝率与 MMLU 全量对比，量化了能力损失集中在伦理子集，读者可自行评估取舍。
Hugging Face · 新模型：abliterated同新闻AI 评分6666 
SC117 发布 Swift-1.5-Qwen3.8-Flash-Next 的 abliterated GGUF 版本
SC117 在 Hugging Face 发布 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF，通过字节级张量移植移除拒绝方向。
同一新闻，精选展示《Qwen3.8-Flash-Next GSQ-RCO 消融版 GGUF 发布：144 个张量移植保留上游量化布局》
Hugging Face · 新模型：abliterated精选AI 评分7272 Qwen3.8-27B RVN 消融版 GGUF 发布，拒绝率降至 0-1/100
xannie1 在 Hugging Face 发布 Qwen3.8-27B RVN Heretic Abliterated Uncensored GGUF，在 trohrbaugh 的 heretic-ara 基础上追加两轮全权重 ARA 消融，有害提示拒绝率从 3/100 降至 0-1/100，KL 损伤从 0.0535 降到 0.0085。
推荐理由：原文给出两轮 ARA 消融后的拒绝率与 KL 前后对比数据，并附各量化的 PPL 和 MTP 实测速度，便于按硬件选文件。
Hugging Face · 新模型：uncensoredAI 评分3434 
mradermacher 发布 Pyrex-8B-Instruct-Uncensored GGUF 静态量化版本
mradermacher 在 Hugging Face 上发布了 Pyrex-8B-Instruct-Uncensored 的 GGUF 静态量化版本，提供从 Q2_K（3.1GB）到 Q8_0（8.2GB）及 f16（15.3GB）等多种规格，其中 Q4_K_S 和 Q4_K_M 被标注为快速且推荐使用。加权/ imatrix 量化版本另行提供，模型页面附有量化质量对比图表和使用说明。