跳到正文
10月5日周一
  1. Hugging Face · 新模型:uncensored49

    Qwen-Image-2.1 无审查版 GGUF 量化上线 Hugging Face

    Hugging Face 用户 natsuto999 发布了基于 Qwen/Qwen-Image-2.1 上游权重的无审查 GGUF 量化版本,提供 BF16(14.23 GB)到 Q4_0(4.15 GB)等多档量化文件,推荐 Q4_K_M 以平衡体积与质量。该版本移除内置安全检查器,可直接生成成人及 NSFW 内容,输出取决于输入提示词与运行环境。模型可配合 ComfyUI 与 ComfyUI-GGUF 本地运行,文本编码器可卸载到系统内存以节省 9–17 GB 显存,许可证为 Qwen Research License。

  2. Hugging Face · 新模型:abliterated71

    SlickPulla 发布 Qwen3.8-27B RVN 三重 ARA 消融版 GGUF

    SlickPulla 在 trohrbaugh/Qwen3.8-27B-heretic-ara 基础上再做两遍 ARA 消融,发布 Qwen3.8-27B RVN Heretic Abliterated Uncensored GGUF,有害提示拒绝率从 3/100 降到 0–1/100,KL 损伤从 0.0535 降到 0.0085。全部 53 个 RVN 文件内嵌官方 Qwen3.8 chat template,每个量化都附带嵌入 MTP 草稿头的孪生文件,128 token 实测平均提速约 55%,仅 IQ1_M 反而慢约 60%,IQ1_S 只提升约 4%,文档还按 8 GB 到 64 GB 显存给出了推荐文件。

    同一新闻,精选展示《Qwen3.8-27B RVN 消融版 GGUF 发布,拒绝率降至 0-1/100》

10月4日周日
  1. Hugging Face · 新模型:abliterated26

    Huihui-Qwen3.8-27B Abliterated Swift-1.5 GSQ-RCO 发布 NInfer 单文件格式

    fyb1214 将 huihui-ai 的 Huihui-Qwen3.8-27B Abliterated Swift-1.5 GSQ-RCO GGUF 系列重新打包为 NInfer 引擎可用的单文件 .ninfer 容器,共发布 IQ2_XS、IQ2_S、IQ3_XXS、IQ3_S 四个量化档位,文件从 8.76 GiB 到 11.91 GiB 不等,其中 IQ3_S 档需要 16 GB 以上显存或卸载。该仓库仅做格式转换,abliteration(第 22–52 层去拒绝方向消融)由 huihui-ai 完成,文本塔无重新量化或再训练。模型仅在 Hugging Face 发布,安全过滤大幅降低,仅建议用于研究和受控环境。

  2. Hugging Face · 新模型:abliterated73

    vaultai 发布 GLM-5.3-Flash-Abliterated MLX 4bit 量化版,上游拒绝率约 1.3%

    vaultai 在 Hugging Face 发布 GLM-5.3-Flash 的 abliterated 4bit 量化版(oQ4e,173 GiB,35 个分片),基于 Blackfrost-Research 的去对齐 BF16 权重,面向 Apple Silicon 的 oMLX 运行时。去对齐在上游权重层完成,Blackfrost-Research 用 R1-HARMFUL-BENCH-450 测得有害提示拒绝率 1.3%(4/300),本 4bit 版仅做了抽查未系统复测。视觉塔与 MTP 草稿头均保留并经真实请求验证,M3 Ultra(256 GB)实测短上下文 DFlash2 解码最高 51.2 tok/s,附带的前缀缓存补丁把多轮长上下文 TTFT 从约 46 s 降到 0.26 s。

    推荐理由:模型卡附上了上游拒绝率实测与 Apple Silicon 上的逐档解码速度和 TTFT 数据,读者可以对照判断量化后的行为和性能。

  3. Hugging Face · 新模型:uncensored74

    TokenTinkerer 发布 Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 十档 GGUF 量化集

    TokenTinkerer 基于 HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 发布了 TTQ 十档 GGUF 量化集,从 3.33 bpw 到 6.72 bpw,全部从上游 Q8_K_P 用自建 imatrix 重量化。每档以同一机器同一协议实测 KLD/RMS 与 llama-bench 速度,每档 KLD 均优于上游仓最接近尺寸的量化 1.26× 到 3.51×,同质量档位小 1.44 到 7.90 GiB,匹配对比下 decode 快 6% 到 19%、prefill 快 28% 到 80%。

    推荐理由:作者用同一协议实测十档量化的KLD、体积与速度,并给出与上游仓位的逐项对照,读者可按显存和用途挑选合适的档位。

  4. Hugging Face · 新模型:uncensored73

    dealignai 发布 GLM-5.3-UNCENSORED-FP8 无对齐权重版

    dealignai 在 Hugging Face 发布 GLM-5.3-UNCENSORED-FP8,对 GLM-5.3-FP8(基于 zai-org/GLM-5.3,753B、78 层、text-only 的 glm_moe_dsa 架构)做权重级去对齐:仅修改 bf16 residual-writer 张量,FP8 专家路由不变,无微调、无 LoRA、无运行时钩子。

    同一新闻,精选展示《dealignai 发布 GLM-5.3-UNCENSORED-FP8 去对齐权重》

  5. Hugging Face · 新模型:uncensored48

    Qwen-Image-2.1 Uncensored GGUF 量化版本发布,支持本地图像生成

    Hugging Face 用户 Aero2026 基于 Qwen/Qwen-Image-2.1 原始权重发布了无内容过滤的 GGUF 量化版本,可配合 ComfyUI 与 ComfyUI-GGUF 本地生成图像。提供 BF16 到 Q4_0 等多种量化,文件大小 4.15 GB 至 14.23 GB,推荐 Q4_K_M(4.60 GB)兼顾体积与质量;文本编码器 qwen3vl_8b 与 VAE 文件也打包在仓库内。该版本移除了内置安全检查器,可直接生成 NSFW 内容,采用 Qwen Research License。

  6. Hugging Face · 新模型:abliterated26

    mradermacher 发布 Abliterated-Dolphin3.0-R1-Mistral-24B 的 i1-GGUF 量化版本

    mradermacher 在 Hugging Face 发布了 Abliterated-Dolphin3.0-R1-Mistral-24B 的 imatrix GGUF 量化版本,提供从 i1-IQ1_S(5.4GB)到 Q6_K(19.4GB)的多种量化档位。其中 Q4_K_S(13.6GB)被称为尺寸、速度与质量的最优平衡,Q4_K_M(14.4GB)为推荐选项,并单独提供 0.1GB 的 imatrix 文件供用户自行创建量化。

  7. Hugging Face · 趋势模型64

    nerkyor 发布 Qwen3.8-27B-Coder390 微调版,修复不停止推理问题并放出十余档量化权重

    nerkyor 在 Hugging Face 发布基于 Qwen3.8-27B-EfficientThink 的多轮 SFT 与 RLOO 后训练模型 Qwen3.8-27B-Coder390-EfficientThink,目标是修复原模型已有答案却反复推导直至撞上 94K 上限导致空答案的习惯。GPQA 178/198、MMLU 450/500、LCB 90/100(静态 FP8,原模型为 177/444/83),94K 截断从 GPQA 4 降到 1、LCB 13 降到 3。仓库提供 BF16、静态 FP8、NVFP4、INT8、INT4、GGUF Q2 至 Q8_0 等多档权重,均含内置 MTP,支持 SGLang 免补丁加载,并给出 DFlash2 与 MTP 两种投机解码的测速建议。

    推荐理由:从模型卡给出多档量化的完整三套评测与截断对比,读者可据此判断修复后模型在精度和速度上的实际表现。

  8. Hugging Face · 新模型:abliterated32

    Huihui-Qwen3.8-27B-abliterated-AWQ-MTP:基于 Qwen3.8-27B 的去审查 AWQ 版本

    Hugging Face 上发布 Huihui-Qwen3.8-27B-abliterated-AWQ-MTP,这是用 abliteration 技术对 Qwen/Qwen3.8-27B 去除拒绝行为后的无审查版本。模型支持 AWQ Marlin kernel 和 MTP 投机解码,在单张 A800 80GB 上(vLLM 0.21.0、MTP 开启、fp8 KV cache)达到 110+ tok/s,支持 65536 上下文长度。发布方警告安全过滤大幅减弱,仅建议用于研究和受控环境。

  9. Hugging Face · 新模型:abliterated31

    AX1Y2JP/UniPercept-abliterated-GGUF 模型上线 Hugging Face

    Hugging Face 新增模型 AX1Y2JP/UniPercept-abliterated-GGUF,提供 Q4_K_M 量化版本。该 GGUF 格式模型可通过 llama.cpp、Ollama、Docker Model Runner、Lemonade 等工具本地运行,也支持在 LM Studio、Jan 中加载。llama.cpp 可启动 OpenAI 兼容的本地服务器并提供 Web UI,也可直接在终端执行推理。

  10. Hugging Face · 新模型:abliterated82

    BoldingBuilds 发布 Qwen3.8-27B Abliterated ThinkFix GGUF 无对齐版本

    BoldingBuilds 在 Hugging Face 发布 Qwen3.8-27B-Abliterated-ThinkFix-GGUF,在移除拒绝行为之外增加一处权重行编辑,使模型完成思考后更快给出答案。

    推荐理由:原文给出多种敏感提示词与代理任务的实测对照数据,可据此评估这个去对齐加推理修复版本的实际取舍。

  11. Hugging Face · 新模型:abliterated56

    Qwen3.8-Flash-Next GSQ-RCO 量化包发布,附运行时去拒绝方向向量与实测数据

    alesha-pro 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 GSQ-RCO 量化包,收录 ISTA-DASLab 的 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 四档 GGUF(逐字节复制并校验 SHA256),另附一个 480 KB 的拒绝方向向量文件,可在 Strata 引擎中运行时投影去除拒绝行为,权重保持原样。

    推荐理由:原文保留原始量化权重并给出拒绝率、KL 散度和解码速度的实测数据,读者可据此评估运行时去拒绝向量对输出的实际影响。

  12. Hugging Face · 新模型:abliterated80

    TechPrototyper 发布 Qwen3.8-27B GridBook 13GB 视觉版 abliterated 权重

    TechPrototyper 发布了基于 rdtand 的 GridBook 13GB 量化版 Qwen3.8-27B 的 abliterated 变体,通过将 BF16 消融供体权重移植进已有量化 checkpoint 并按原量化网格重编码,不重新量化,仅改动 1363 个张量中的 113 个。

    推荐理由:原文给出在量化格式内做消融的完整方法与拒绝率、工具调用前后对比,读者可据此判断这种不重新量化的去对齐做法是否可靠。

10月3日周六
  1. arXiv · cs.CL70

    arXiv论文:激进GGUF量化的语言模型仍能写出已无法定义的生僻词

    arXiv论文2610.04403审计27个GGUF量化产物,覆盖13个模型族、0.35B-14B参数,用429个低频英文词测试写词与定义两种探针。发现Q2_K下三种状态:完全崩溃、2B以下模型出现严重语义脱节(定义能力比基线低20-67%)、约3B以上基本保持;词表大小不预示损伤(rho=0.12),参数量主导(rho=0.72),Q4_K_M在1B以上词汇无损,且WikiText-2困惑度无法校准该损伤,需逐产物验证。

    推荐理由:论文用429个低频词实测27个GGUF量化产物,指出WikiText-2困惑度无法预警语义损伤,对本地部署有直接参考。

  2. arXiv · cs.AI46

    AutoTarget:面向少步扩散 Transformer 的求解器感知缓存目标选择方法

    arXiv 论文提出 AutoTarget,为少步蒸馏后的 Diffusion Transformer(DiT)选择缓存复用张量,以降低采样误差。方法用少量无缓存运行测量各候选张量的复用误差并选取最低者;在 PixArt-LCM 与 FLUX.1-schnell 上的实验表明最佳缓存目标随模型、分辨率和求解器变化,校准排序与留出缓存运行一致,在减少评估次数的同时保持接近无缓存的生成质量。

10月2日周五
  1. arXiv · cs.CL55

    KV$^2$:一种自精炼 KV cache 压缩方法发布于 arXiv

    论文提出 KV$^2$,一种基于选择性重构的 query 无关 KV cache 压缩方法,先用轻量代理评分器筛选上下文中的有效 token,再仅对该子集重新计算最终淘汰分数。

    推荐理由:论文给出 KV$^2$ 在 RULER 和 LongBench 上随预算收紧而扩大的对比数据,可复用的 KV cache 压缩不必重处理全上下文。

  2. Hugging Face · 趋势模型68

    SC117 发布 Qwen3.8-Flash-Next GSQ-RCO 消融版 GGUF,144 张量移植保留原始量化

    SC117 在 Hugging Face 发布 Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF,通过对已量化 GGUF 做 144 个残差流投影张量的字节级移植实现去拒绝,不重算任何 GSQ 学到的量化值。IQ3_S 版经逐张量 blake2b 校验,1223 个张量中 1079 个与上游逐字节一致,decode 速度仅降 0.1%,四个量化档位体积仅比上游多 0.25 至 0.44 GB,行为抽查显示上游拒答的绕过付费墙请求该版本会详细回答。作者提示模型无内置安全护栏,需自行部署审核与访问控制。

    推荐理由:作者用逐张量 blake2b 校验和性能对照说明直接移植已量化张量做消融的代价,方法可复用到其他 GGUF 模型。

10月1日周四
  1. Hugging Face · 趋势模型48

    EMA Lightning:8.6M 参数的开源土耳其语文本转语音模型,WER 低至 0.92%

    EMA Lightning 是一个开源(Apache 2.0)的土耳其语文本转语音模型,由 5.6M 参数 DiT 声学模型和 3M 参数 vocoder 组成,总计仅约 34 MB。在 Freya-TR-Eval 上 WER 为 0.92%,低于 ElevenLabs v4、Gemini 3.8 和 2.38B 参数的 Trendyol-TTS 等所有被测系统;在 RTX 4090 上首批音频仅需 3.86 ms,比实时快 440×(批处理达 1,316×)。模型可完全离线运行于 GPU 或 CPU,无需 API key,文本和音频不离开本机,成本约 $0.0085 per million characters。

  2. Hugging Face · 趋势模型52

    Cactus Compute 发布端侧语音识别模型 Whistle,整个模型仅 16.9 MB

    Cactus Compute 团队发布面向手机、可穿戴、机器人、智能家居、汽车和微控制器的端侧语音识别模型 Whistle,整个模型为单个 16.9 MB 文件,无需 GPU 和外部依赖,与 Needle 共用同一运行时。支持英德法西意荷波七种语言的转写(单次最长 30 秒)、词级时间戳和语音嵌入,静音返回空文本而非编造句子。WER 基于 86,174 条语音实测,并用与 Whisper、Moonshine 已发布数据对比;精度为 Whistle 2 至 4 bit,Whisper fp32,Moonshine int8。

    推荐理由:原文给出了完整的 WER 基准、精度设置和与 Whisper、Moonshine 的对比口径,读者可以据此评估端侧语音识别的实际表现。

9月24日周四
  1. Hugging Face Blog63

    LiquidAI 发布 LFM2.5-VL-3B 的 DSpark 草稿模型,解码加速最高 3.13x

    LiquidAI 发布视觉语言模型 LFM2.5-VL-3B 的实验性 DSpark 草稿模型,通过投机解码在不改变输出质量的前提下换取推理提速。解码加速在端侧最高 3.13x、H100 上最高 2.66x,端到端延迟分别提升 1.56x-2.62x 和 1.64x-2.27x;草稿模型约 280M 参数,仅增加 8.9% 参数量。

    推荐理由:原文给出4层注意力 drafter 的结构与分任务实测加速数据,并解释预填充阶段为何限制端到端收益。