跳到正文
10月11日周日
  1. Hugging Face · 新模型:abliterated30

    Huihui-Qwen3.8-Flash-Next-abliterated-GGUF 发布:Qwen3.8-Flash-Next 的去审查版本

    huihui-ai 发布 abliterated 版 Qwen3.8-Flash-Next,通过 abliteration 技术在不使用 TransformerLens 的情况下去除模型的拒绝回复行为。GGUF 文件来自 unsloth 系列,支持最新版 Strata 和 llama.cpp,可用 llama-cli 以 262144 上下文长度运行。该模型安全性过滤被大幅削弱,仅建议用于研究和受控测试环境,不适合生产或公开商业应用。

  2. Reddit · r/LocalLLaMA32

    工程师实测 Gemma4-31B、Qwen3.8-27B 与 6.1-Sol 的软件工程能力对比

    一位有约 20 年经验的软件工程师用相同的 Q4 量化模型测试 Gemma4-31B 与 Qwen3.8-27B 做代码分析和项目编写。代码分析两者质量相当,Gemma4 效率更高(约 10 次服务器调用对 Qwen 的 20-30 次);新建 C#/WPF 项目中 Qwen3.8 经 1 次修订达到可用的 B+ 水平,优于 Gemma4 的 B-。作为对照的 GPT 6.1-Sol 一次通过、获评 A+,明显领先两个开源模型。

  3. Hugging Face · 新模型:uncensored60

    Qwen3.8-27B-Uncensored 的 EXL3 4.00bpw 量化版发布,单卡 24 GB 跑满 262K 上下文

    sjoe1244 发布了 llmfan46/Qwen3.8-27B-Uncensored-Heretic 的 EXL3 量化版,权重、lm_head、视觉塔和 MTP 头均为 4-bit,仅支持 TabbyAPI 或 ExLlamaV3。在一块 RTX 4090 上实测:加载后显存 21.0 GB,无思考模式 155–167 tok/s,MTP 起草接受率 81%;作者注明只做了短测,最长提示词 9K tokens,质量未对照 BF16 源模型。许可为 Apache 2.0,去对齐工作来自 llmfan46。

    推荐理由:作者给出了单张 24 GB 卡上的实测数据,包括显存、速度和 MTP 接受率,对想本地跑同款量化的人有直接参考价值。

  4. Reddit · r/LocalLLaMA43

    48GB 显存兼顾速度与质量:Qwen 3.8 27B Swift 1.5 W8A16 量化版实测

    一位用户自制的 Qwen 3.8 27B Swift 1.5 量化版(8 bit AWQ + GPTQ,W8A16)可在 48GB VRAM 上兼顾速度与质量。用 vLLM 与 MTP=5 在 2 张 RTX 3090 上运行,解码速度接近 100 tok/s,开启 128k context 和 FP16 KV cache 时每卡占用约 21.6GB。作者称其比原版 3.8 27B 更少过度思考,是他认为 48GB VRAM 下的最佳折中方案。

  5. Hugging Face · 新模型:uncensored62

    beginning-ai 发布 Qwen3.8-Flash-Next-Uncensored 的 NVFP4 混合精度量化版

    beginning-ai 在 Hugging Face 发布了 orcarouter/Qwen3.8-Flash-Next-Uncensored(去拒绝的 BF16 版)的 NVFP4 混合精度量化,目标是单张 96 GB Blackwell GPU 上用 SGLang 运行。与官方 base 相比源模型改动了 1,658 个张量中的 149 个;checkpoint 占盘 120 GiB(BF16 源为 335 GiB),GPU 上约 78 GB 权重,47.7 GiB 的 n-gram PLE 表可放在主机内存或 NVMe。在 RTX PRO 6000 上单流解码约 265 tok/s(2K 上下文)、约 240 tok/s(200K),KV cache 786K token、上下文 524K。

    推荐理由:原文给出了逐张量对比、校准数据与拒绝行为说明,读者能看清这个去对齐量化和官方版在结构与数值上的确切差异。

  6. Hugging Face · 新模型:abliterated25

    Holo4-27B-abliterated EXL3 6bpw 量化版本发布

    Hugging Face 用户发布基于 Hcompany/Holo4-27B 的 abliterated 版本的 EXL3 量化模型,目标 6 bpw,转换器报告码率为 6.0,并移除了悬空的 MTP 配置。该模型源自 timteh673/Abliterix 制作的 refusal-direction ablation 版本,采用 CC BY-NC 4.0 仅限非商业使用,同时附带原始 Qwen 基座的 Apache-2.0 许可。发布前已通过 EXL3 加载生成非空文本的冒烟验证,但不包含任何 benchmark 分数,需使用 EXL3 兼容推理软件。

10月10日周六
  1. Hugging Face · 新模型:uncensored51

    SargeDev 发布 JEV-27B-VL-Uncensored,将 System-1 决策模块合并进 abliterated Qwen3.8-27B

    SargeDev 在 Hugging Face 发布 JEV-27B-VL-Uncensored,把 AutoTrust 的 System-1 决策模块合并进 huihui-ai 的 abliterated Qwen3.8-27B backbone,使决策输出不经过原模型的拒绝机制。在 27,695 行测试集上,noul AUROC 0.985、choice top-1 降至 0.855、score top-1 降至 0.797,KL 0.055,重校准后各 ECE 指标达标;10 条 prompt 测试拒绝率为 0.0。

  2. Hugging Face · 新模型:uncensored62

    SargeDev 发布 JEV-27B-Uncensored,将 AutoTrust 决策模块合入 abliterated Qwen3.8-27B

    SargeDev 在 Hugging Face 发布 JEV-27B-Uncensored,是 JEV 27B 家族首个 uncensored 成员,将 AutoTrust 的 System-1 决策模块合入 huihui-ai 的 abliterated Qwen3.8-27B 骨干(第 18-51 层消融,视觉塔未动),使决策引擎在无拒绝线路下输出。

    推荐理由:原文给出了消融层范围、决策指标前后对比和拒绝率实测,读者可以据此判断去对齐带来的能力代价。

  3. Hugging Face · 新模型:uncensored61

    SargeDev 发布 JEV-27B-Uncensored GGUF,去审查骨干合并 System-1 决策块

    SargeDev 在 Hugging Face 发布 JEV-27B-Uncensored-GGUF,将 AutoTrust 的 System-1 决策块合并进 huihui-ai 消融版 Qwen3.8-27B(layers 18-51 ablated)骨干,使决策引擎在无拒绝接线下输出。在 jev-distill-corpus-v3 的 27,695 行 held-out 测试集上,与原 JEV-27B 相比 choice top-1 降 4.9 分、score top-1 降 9.3 分,noul AUROC 0.985 通过门槛,10 条 prompt 电池拒绝率为 0;附带 24 槽决策头、校准文件、serve_decide.py vLLM 服务器及 Q8_0 / Q4_K_M / f16 量化。

    同一新闻,精选展示《SargeDev 发布 JEV-27B-Uncensored,将 AutoTrust 决策模块合入 abliterated Qwen3.8-27B》

  4. Hugging Face · 新模型:uncensored22

    Nova-Zero 发布 Gemma-4-E4B-it-Uncensored-GGUF 量化模型

    Nova-Zero 在 Hugging Face 发布 Gemma-4-E4B-it-Uncensored-GGUF 无审查 GGUF 量化模型,提供 Q5_K_M 量化版本。该模型可通过 llama.cpp、Ollama、Docker、LM Studio、Jan 等多种方式本地运行,支持启动 OpenAI 兼容本地服务器和终端直接推理,也可在 Pi、Hermes、OpenClaw 等 Agent 工具中配置使用。

  5. Hugging Face · 新模型:uncensored66

    HauhauCS 发布 Qwen3.8-27B Aggressive 无对齐 GGUF 量化并附 FastMTP 加速方案

    HauhauCS 在 Hugging Face 发布基于 Qwen3.8-27B 的 Aggressive 无对齐 GGUF 量化系列,测得 0/465 次拒绝,主打直接作答、无拒绝行为。每个文本 GGUF 保留原生 NextN/MTP 头,配套 FastMTP 32K 草稿侧车在 Q8_K_P 下实现文档 TG 3.02x、推理 TG 1.93x(对比关闭 MTP),并提供 llama.cpp 补丁、部署命令、Ed25519 签名清单与 RTX PRO 6000 Blackwell 及 RTX 6000 Ada 的实测速度表。

    同一新闻,精选展示《HauhauCS 发布 Qwen3.8-27B 无对齐 Aggressive GGUF 量化版》

  6. Hugging Face · 新模型:uncensored54

    YueFong 发布 Qwen-Image-2.1 Uncensored GGUF 量化版

    YueFong 在 Hugging Face 上发布基于 Qwen/Qwen-Image-2.1 原始权重的 Uncensored GGUF 量化版,用于本地图像生成。该版本移除内置安全检查器,可直接生成成人及敏感图像而不出现提示词拒答或黑图;提供 BF16 到 Q4_0 等多档量化(如 Q4_K_M 为 4.60 GB),并附配套文本编码器 qwen3vl_8b 与 VAE 文件、ComfyUI 及 ComfyUI-GGUF 的部署与低显存配置说明。

    推荐理由:原文列全了各量化档位的文件体积与显存占用,还给出 ComfyUI 的部署步骤和文本编码器卸载方案,照做即可跑通本地生图。

  7. Hugging Face · 趋势模型59

    Datalab 发布 Indra OCR:1M 参数 OCR 模型 CPU 上每秒读 49 页

    Datalab 在 Hugging Face 开源 Indra OCR,主识别器约 1M 参数、模型仅约 18 MB,CPU 上吞吐 49 页/秒,单页延迟约 230 ms,比 Tesseract 和 PaddleOCR 快 11-17 倍。OmniParseBench headline 62.1 分,开启 --math 后升至 66.8,超过 PaddleOCR PP-StructureV3 的 58.4。支持输出 markdown、纯文本和带边界框的 JSON,代码 Apache 2.0,权重用修改版 OpenRAIL-M 许可,2000 万美元以下融资/营收的初创可免费商用;官方也列明复杂表格、手写和退化扫描等局限。

    推荐理由:官方给出了与 Tesseract 和 PaddleOCR 同机同页的延迟、吞吐和 OmniParseBench 对比,还写明了复杂表格、手写等不适场景。

  8. Hugging Face · 新模型:abliterated66

    Swift-1.5-Qwen3.8-Flash-Next GSQ-RCO 量化模型发布 abliterated 去对齐 GGUF 版本

    cc1244578151 在 Hugging Face 发布 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF,通过字节级张量移植从 orcarouter 的 Uncensored 版本替换 144 个写入残差流的张量,去除拒绝方向。98% 的目标参数(ffn_down_exps,40.3B)与 base 逐字节相同,每层 blake2b 校验确认 144 个变更、1080 个不变。提供 IQ3_S / IQ3_XXS / IQ2_XS / Q2_0 四档,文件比上游略小;IQ2_XS 下 decode 慢 2.2%、思考 token 均值 552 vs 471(p=0.607 无显著差异),代码任务 15/15 通过。

    同一新闻,精选展示《Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated 上架 Hugging Face:144 张量字节级移植去对齐》

  9. Hugging Face · 新模型:abliterated25

    Huihui-GLM-5.3-Flash-abliterated-GGUF 上架 Hugging Face

    Dgvdhb 在 Hugging Face 发布 Huihui-GLM-5.3-Flash-abliterated-GGUF 模型,提供 UD-Q4_K_XL 量化版本,支持 image-text-to-text 多模态输入。该模型可通过 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker、LM Studio 等多种方式部署,llama.cpp 与 vLLM、SGLang 均提供 OpenAI 兼容 API。

  10. Hugging Face · 新模型:abliterated57

    swdq 发布 Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX 4-bit 量化版

    swdq 在 Hugging Face 放出 huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX affine 4-bit 权重,并把检查点自带的 MTP 头量化为 mtp-4bit.safetensors,供 TensorFold 的 Qwen3.6 MoE CUDA 家族使用。在一台 NVIDIA DGX Spark(GB10)上用 TensorFold 0.6.6、--mtp-drafts 2 --prefill-f8 实测,8k tokens 预填充 5,700–7,200 tok/s、解码 98–128 tok/s;相比之下 BF16 检查点在 vLLM 0.29 加 FP8 在线量化加 MTP 2 下解码约 53/69 tok/s。

    推荐理由:原文给出了完整的量化方法、实测吞吐数据和复现命令,读者可以直接拿来在单机上部署这个 4-bit 版本。

  11. Hugging Face · 新模型:abliterated68

    LFM2.5-350M abliterated 去对齐版发布,拒绝率从 20/25 降至 0/25

    haddockaihamburg 发布 LiquidAI/LFM2.5-350M 的 abliterated 去对齐版本,用 heretic 工具(方向消融加 TPE 参数优化,20 次 Optuna 试验)全自动生成。独立实测 25 条有害提示的拒绝率从基座的 20/25 降到 0/25;lm-eval 七项 0-shot 基准显示 6 项小幅下滑,其中 WinoGragne 降 6.4、ARC-Easy 降 4.8,超出噪声区间,作者提醒推理敏感任务需复检质量。权重以 bf16 合并,无需 adapter,沿用基座的 LFM Open License v1.0,面向对齐与消融方法研究。

    推荐理由:作者给出了独立测得的拒绝率前后对比和七项基准的降幅明细,读者可据此判断这次消融的收益与代价。

  12. Hugging Face · 趋势模型42

    vllm-sr/d3:Decision 3.0 的 27B 多模态决策模型发布

    vLLM Semantic Router 发布 27B 多模态基础决策模型 d3(Decision 3.0),参数 26.09B(含 0.46B 视觉编码器),一次调用回答 Choice、Yes/No、Score 类问题并返回每个选项的概率,不生成文本。Jev Decision Index 0.3.2 达 66.3 居官方文本榜第一,比 Decision 2.0 的 55.9 高 10.4;文本请求中位延迟 54.4 ms,Apache-2.0 开源,可用 vLLM Semantic Router 部署。

  13. Hugging Face · 新模型:uncensored56

    Qwen3.5-9B-Claude-4.6-HighIQ-INSTRUCT-HERETIC-UNCENSORED 微调模型发布,拒绝率从 100/100 降至 6/100

    cookies55 在 Hugging Face 发布了 Qwen3.5-9B 的去审查微调版,用 Unsloth 在本地硬件以 Claude 4.6 大型蒸馏数据集训练,经 Heretic 消融后拒绝率从 100/100 降到 6/100,KL 散度为 0.0793。该版本为 INSTRUCT 模式并修改了 jinja 模板,图像输入经测试可用,视频部分未测试,建议最低 q4ks(非 imatrix)或 IQ3S(imatrix)量化。

    推荐理由:作者给出了消融后的 KL 散度和拒绝率前后对比,以及七项基准分数变化,读者可自行判断去对齐的代价。

  14. Hugging Face · 新模型:uncensored60

    HauhauCS 发布 Qwen3.8-27B Uncensored Aggressive 变体的 GGUF 量化与 FastMTP 加速方案

    HauhauCS 在 Hugging Face 发布基于 Qwen3.8-27B 的 Uncensored Aggressive 无对齐变体 GGUF 量化,实测 0/465 次拒绝,无前导客套地直接回答。所有文本 GGUF 保留原生 NextN/MTP 头,并附带 HauhauCS FastMTP 32K 加速 sidecar,在 RTX PRO 6000 上对比关闭 MTP 时文档 TG 最高达 3.02x、推理 TG 最高 1.93x,Q8_K_P 档位比标准内嵌 MTP 快 35.2%/21.1%;提供 Q2 至 Q8 及 IQ 系列量化、BF16 视觉 projector、llama.cpp 补丁与部署命令,附 Ed25519 签名清单校验。

    同一新闻,精选展示《HauhauCS 发布 Qwen3.8-27B 无对齐 Aggressive GGUF 量化版》

  15. Hugging Face · 新模型:uncensored79

    Qwen3.8-27B-Uncensored GGUF 量化版发布,拒绝率从 98/100 降至 12/100

    作者发布了 Qwen3.8-27B-Uncensored 的 GGUF 量化版本(IQ2_M 到 Q8_0),用 Heretic 移除拒绝方向,保留 MTP 头,拒绝行为显著减少但未消除,从 100 个有害提示中的 98 个降至 12 个。权重编辑带来约 0.043 的困惑度增加(相对约 0.7%),MMLU、ARC-Challenge、HellaSwag、Winogrande 四项基准平均下降 0.5 分且均在标准误内。模型卡同时给出 imatrix、自建低比特量化方法和 MTP 投机解码实测(n_max 1 时约 1.19x-1.28x 加速)。

    推荐理由:作者给出了 Heretic 消融方法、拒绝率从 98/100 降到 12/100 以及困惑度和基准的前后对照数据,可以据此判断权重编辑的实际代价。

  16. Reddit · r/LocalLLaMA27

    开源物理决策模型 Vega:800M 参数、73k 上下文、支持图像

    Laya 开发者开源了名为 Vega 的 physics-based typed decision model,参数量 800M(另有 4B 版本),支持 73k token 上下文和图像输入,单次推理在多项 JEV benchmark 上超越前者。模型采用引擎加适配器实现的 Test-Time Training 架构,将观测、问题与候选结果投影为向量,用「能量球落入山谷」的方式选出答案。博客、GitHub 和 HuggingFace 模型卡与 Space 均已发布。

  17. Hugging Face · 新模型:uncensored63

    gemma-4-31B-it-uncensored-heretic 的 EXL3 4-bit 量化发布,24 GB 单卡跑 194K 上下文

    sjoe1244 发布了 llmfan46 的 gemma-4-31B-it-uncensored-heretic 的 ExLlamaV3 4.00bpw-h4-vb4 量化版,权重、head、视觉塔和 KV cache 均为 4-bit,在单张 RTX 4090 上实现约 194K token 上下文池(视觉开启),写入速度 45 tok/s(32K prompt 时 41.9 tok/s)。量化 KL mean 0.0262 与 4.00bpw-h6 相同,困惑度 16.687(BF16 源为 16.586);仅支持 TabbyAPI 或 ExLlamaV3,Apache 2.0 许可,去对齐工作出自 llmfan46。

    推荐理由:原文给出了完整的 KL、困惑度、VRAM 和速度实测数据,读者可以据此判断这个 4-bit 量化在一卡上换取超长上下文的代价。

  18. Hugging Face · 新模型:uncensored31

    mradermacher/Pyrz-8B-Instruct-Uncensored-i1-GGUF 发布

    mradermacher 在 Hugging Face 发布 Pyrz-8B-Instruct-Uncensored-i1-GGUF 量化模型,默认提供 Q4_K_S 版本。该模型可通过 llama.cpp 在本地运行,支持启动 OpenAI 兼容服务器或终端推理,也可配合 Ollama、Docker Model Runner、LM Studio 等工具使用,并给出了在 Pi、Hermes、OpenClaw 等工具中的配置方法。

  19. Hugging Face · 新模型:uncensored71

    GLM-5.3-Flash UNCENSORED FP8 发布,HarmBench-320 拒绝率归零且 MMLU 略升

    dealignai 以 CRACK 权重级去审查方式发布 GLM-5.3-Flash UNCENSORED FP8(320B 总参数、18B 激活、1M 上下文),在 reasoning-off 和 max 档 HarmBench-320 上 320/320 全部顺从、0 拒绝,MMLU 87.33% 高于 base 的 86.74%。模型支持视觉与 MTP 投机解码(75.9% 接受率),H200 原生 FP8 解码 163 tok/s。文中还给出部署要点,如 reasoning_effort 只接受 low/high、max 档需 max_tokens ≥ 6000、视频 fps 需低于原帧率等;2026-08-28 修复重复循环问题后需重新下载。

    同一新闻,精选展示《GLM-5.3-Flash UNCENSORED FP8 发布,权重级去对齐且 MMLU 反超基座》

  20. Reddit · r/LocalLLaMA49

    webAI 发布基于 Granite 4.2 3B 的 3.66B 形式逻辑模型 TwIL LM3 Pro

    webAI 于 9 月 30 日发布 TwIL LM3 Pro,这是一个基于 IBM Granite 4.2 3B 的 3.66B 模型,专门针对形式逻辑任务微调,其逻辑综合分达 55.4,优于 Granite 基座的 43.1,并以不到一半的参数量追平 Qwen3-8B 的 53.4。训练采用 LoRA SFT、checkpoint merging 和针对程序化验证器的 RL。Q4_K_M GGUF 仅 2.09 GiB,可在 CPU 或 4 GB VRAM 上运行,支持 Ollama、LM Studio 和 llama.cpp,但许可证为非商业用途。

  21. Hugging Face · 新模型:uncensored65

    GospodinAizen 发布 GLM-5.3-UNCENSORED 的 EXL3 3.0bpw 量化版

    GospodinAizen 在 Hugging Face 发布 GLM-5.3-UNCENSORED-EXL3-3.0bpw,是对 dealignai/GLM-5.3-UNCENSORED-FP8 的 EXL3 量化,后者为 zai-org/GLM-5.3 的权重编辑去对齐版本(非微调),编辑记录见 CRACK_SURFERY.。模型为 GlmMoeDsaForCausalLM,753B 总参数、256 路由专家(激活 8 个)加 1 个共享专家,平均码率 3.04 bpw,体积 273 GiB,含可用作投机草稿的 MTP 层;与 FP8 源对比困惑度 3.440 对 3.302。tau2-bench 上 airline 差 -0.070、retail 差 -0.022,均不具统计显著性。

  22. Hugging Face · 新模型:uncensored63

    j-llm 发布 Qwen3.8-27B-Uncensored 的 OptiQ 混合 4/8-bit MLX 量化版

    j-llm 在 Hugging Face 发布 orcarouter/Qwen3.8-27B-Uncensored 的 OptiQ 混合 4/8-bit MLX 量化版,约 19.2 GB,5.13 bits/weight。该量化基于对 uncensored 权重直接测量的逐层 KL 敏感度分配精度,保留 BF16 视觉塔与 MTP head sidecar,262,144 token 上下文;Capability Score 88.86,高于参考版 mlx-community/Qwen3.8-27B-OptiQ-4bit 的 87.98。

    推荐理由:原文给出逐层 KL 敏感度测量和 6 项基准对比,读者可评估混合量化相对参考版的质量取舍。

  23. Hugging Face · 趋势模型71

    autotrust 发布 GLM5.3-Flash-E192-DGX-Spark 剪枝版,124 GiB 权重可单卡 B200 运行

    autotrust 在 Hugging Face 发布 zai-org/GLM-5.3-Flash 的非官方精简版 GLM5.3-Flash-E192-DGX-Spark,通过 NAS 每层保留 288 个路由专家中的 192 个、专家用 NVFP4 量化,每 token 仍激活 18B 参数,权重 124 GiB 为家族最小,单张 180 GB Blackwell GPU 可跑,双 DGX Spark 各承担约 62 GiB。

    推荐理由:作者用同一套评测跑出 E192/E224/E256 三档在显存、KV 容量和各基准上的差异,便于按硬件选型。

  24. Reddit · r/LocalLLaMA72

    Qwen3.8-27B 无对齐 Heretic 版 UD-IQ4_XS 量化发布,16 GB 显卡开 MTP 达 55-68 tok/s

    Reddit 用户 /u/ZestRocket 基于 llmfan46 的 uncensored Heretic 权重,套用 Unsloth 的 UD 配方自行量化出 12/16/24 GB 三个版本,托管在 Hugging Face(codavidgarcia/Qwen3.8-27B-Uncensored-Heretic-MTP-UD-GGUF)。16 GB 的 UD-IQ4_XS 在 RTX 4080 上开 MTP 实测代码 55 tok/s、散文 50 tok/s(关 MTP 仅 29/29),并以 Q8_0 为基准对比了各量化的 KLD 质量。作者还发现 2 个草稿 token 优于 3 个、显存溢出会让速度骤降(开 Chrome 掉到 0.2 tok/s),并附上配方提取与基准测试脚本。

    同一新闻,精选展示《Qwen3.8-27B-Uncensored-Heretic GGUF 量化发布,为 12/16/24 GB 显卡保留原生 MTP 头》