跳到正文
10月24日周六
  1. Hugging Face · 新模型:abliterated51

    staccs 发布 DeepSeek-V4.1-Flash-1017 abliterated 版的校准 11-bit VQ 量化 GGUF

    staccs 发布 pqhaz/DeepSeek-V4.1-Flash-1017-heretic(DeepSeek-V4.1-Flash-1017 的 pqhaz abliterated 版)的 106.8 GB 单文件 GGUF,对 557B 参数的 routed experts 采用 lecore 激活校准 11-bit 矢量量化(2048 条码本、65,536 校准 token),Engram n-gram 表沿用原版需另下载约 203 GB。以未量化源模型为教师的评测显示 2k 上下文困惑度 2.762、top-1 一致率 80.9%,优于未校准的 vq10sh12 版(PPL 3.615、top-1 74.5%)。

  2. Hugging Face · 新模型:abliterated57

    staccs 发布 DeepSeek-V4.1-Flash-1017 abliterated 版单文件 GGUF 量化包

    staccs 发布了 106.8 GB 单文件 GGUF,对 dealignai 制作的 DeepSeek-V4.1-Flash-1017 abliterated(UNCENSORED-FP8)版本重新量化,采用 lecore 激活校准的 11-bit 向量量化处理路由专家(2048 码本条目、65,536 校准 token,1.39 bpw,cosine 0.909),注意力骨架用 q4_K,共享专家 VQ 11-bit。评测以未量化源模型为教师,WikiText-2 上 2k/16k 上下文困惑度 2.817/2.936,top-1 一致率 80.2%/78.6%,优于未校准的 vq10sh12 版本(PPL 3.615、top-1 74.5%)。

    推荐理由:作者用未量化源模型给出困惑度、KL 散度和 top-1 一致率对照,可据此评估这套 11-bit VQ 量化的损耗。

  3. Hugging Face · 新模型:abliterated52

    DeepSeek-V4.1-Flash-1017 abliterated 版发布 106.8 GB 单文件 lecore vq11 校准 GGUF 量化

    staccs 在 Hugging Face 发布 rumplestilzken/DeepSeek-V4.1-Flash-1017-abliterated 的单文件 GGUF,大小 106.8 GB,对 557B 参数的路由专家采用 lecore 激活校准 11-bit 向量量化(2048 码本条目,65,536 校准 token),1.39 bpw、加权余弦 0.909。评测以未量化源模型为 teacher,2k/16k 上下文困惑度 2.821/2.950,top-1 一致率 80.5%/78.4%,优于未校准的 vq10sh12 版(PPL 3.615、top-1 74.5%)。

    同一新闻,精选展示《staccs 发布 DeepSeek-V4.1-Flash-1017 abliterated 版单文件 GGUF 量化包》

  4. Hugging Face · 新模型:abliterated50

    DeepSeek-V4.1-Flash-1017 abliterated 版 106.8 GB lecore 校准 VQ GGUF 发布

    mrfakename 的 DeepSeek-V4.1-Flash-1017-abliterated 被重新量化为单个 106.8 GB 的 lecore 校准 11-bit VQ GGUF 文件,路由专家参数 557B,码本 2048 条目、1.39 bpw。在 WikiText-2 上 2k/16k 上下文 perplexity 分别为 2.799/2.917,top-1 与源模型一致率 80.3%/78.5%,优于此前未校准的 vq10sh12 版(PPL 3.615)。

  5. Reddit · r/LocalLLaMA41

    ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 量化版本

    ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 智能量化版本,量化文件已上架 HuggingFace。目前 llama.cpp 尚不支持该模型,因其原始架构支持代码还未合并;模型卡提及 Strata 支持,但发帖者认为原版 Strata 只支持 Qwen3.8-Flash-Next,实际可能指 Xolotl 或 Maya 等 Strata 衍生分支。

  6. Hugging Face · 新模型:abliterated18

    EsteefAi 镜像发布 gemma-3-4b-it-abliterated-v2 GGUF 模型

    Esteef.Ai 为 Philibert 镜像了 mlabonne 基于 Google Gemma 3 制作的 abliterated 版模型 gemma-3-4b-it-abliterated-v2-GGUF。镜像文件与原版逐字节一致,未做任何修改,其中 q6_k 量化文件的 SHA-256 为 47636d77…。Philibert 在用户请求该模型时通过 `ollama pull hf.co/EsteefAi/gemma-3-4b-it-abliterated-v2-GGUF-mirror` 下载,许可证沿用 Gemma Terms of Use。

  7. Hugging Face · 新模型:uncensored18

    EsteefAi 镜像 Orenguteng 的 Llama-3-8B-Lexi-Uncensored GGUF 模型

    EsteefAi 在 Hugging Face 发布 Llama-3-8B-Lexi-Uncensored-GGUF-mirror,逐字节复制 Orenguteng 基于 Meta Llama 3 的 Llama-3-8B-Lexi-Uncensored GGUF 文件(如 Q5_K_M 量化),SHA-256 校验一致且无修改,供 Philibert 通过 Ollama 拉取保持安装可用。原模型遵循 Meta Llama 3 Community License,版权归原作者所有。

  8. Hugging Face · 新模型:uncensored18

    EsteefAi 发布 Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive-mirror 镜像模型

    Hugging Face 上架 EsteefAi/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive-mirror 镜像模型,默认量化为 Q4_K_M。该模型可通过 llama.cpp、Ollama、Docker、LM Studio、Pi、Hermes Agent、OpenClaw 等工具本地运行,llama.cpp 支持启动 OpenAI 兼容服务器及终端直接推理。

  9. Hugging Face · 新模型:uncensored78

    AtomicChat 发布 NVIDIA Nemotron 3.5 Bolt E4B 无拒绝 GGUF 与 3.5 MB LoRA

    AtomicChat 把 NVIDIA Nemotron 3.5 Bolt E4B(基于 Gemma-4-E4B-it)的拒绝行为从权重中移除,提供烘焙 GGUF 量化版和 3.5 MB rank-1 LoRA。按 Arditi et al. 2024 的拒绝方向方法处理 Gemma 4 每块三次写入及其 RMSNorm 共 126 个矩阵。JailbreakBench 拒绝率从 93.8% 降到 1.2%,俄语红队提示从 76% 降到 0%,XSTest 从 9.2% 降到 0.4%,开启思考后 30 题中 29 个拒绝降为 0;MMLU 从 68.50% 到 67.85%(McNemar p=0.21),工具调用 20/20、30k 长文检索 3/3 不受影响。

    推荐理由:原文给出完整的拒绝方向定位方法与前后对照数据,拒绝率从93.8%降到1.2%,MMLU与工具调用影响均有实测。

  10. Hugging Face · 新模型:uncensored64

    flint-uncensored GGUF 量化版发布,拒绝率从 98/100 降至 5/100

    Octopusman388 发布 electroglyph/flint-uncensored 的 GGUF Q4_K_M 量化版(22.5 GiB),该模型是对 RecursiveSI/flint(39.8B-A2.5B MoE 编码模型)的 Heretic 去对齐版本,仓库仅做转换与量化,无额外训练,Apache 2.0 许可。实测拒绝率 5/100(原版 98/100);已知问题是在边界/敏感提示下推理可能失控,10k+ 字符无答案,presence_penalty 1.5 无效,用 --reasoning-budget 4096 加提示语可缓解,4/4 单轮及多轮 agent 运行均正常终止。

    推荐理由:作者实测了拒绝率前后对比和推理循环问题,并给出可复现的 reasoning budget 缓解参数与解码速度数据。

  11. Reddit · r/LocalLLaMA41

    Mica v0.5 决策模型实测:4B 比 395M 编码器快 2.2 倍,比同级 4B 模型快约 10 倍

    Mica v0.5 是基于 Qwen3.5-4B + LoRA 的决策模型,单次前向传播输出各选项概率。在 RTX 6000 Ada 上对比,其单次决策中位耗时 11-18 ms,比同为 4B 的 PPLX Decider 1.2 Flash(约 133-157 ms)快约 10 倍,比 395M 参数的 Laya(约 31-33 ms)快约 2 倍;日志狩猎任务中 1.7 秒处理 150 个日志块、捕获 22 处入侵中的 21 处,准确率约 95%。

  12. Reddit · r/LocalLLaMA52

    NVIDIA 发布 Nemotron-3.5-Bolt-E4B-4GB 小模型

    NVIDIA 发布 NVIDIA-Nemotron-3.5-Bolt-E4B-4GB,这是一个从 Gemma-4-E4B-it 进一步后训练的小语言模型,面向本地语音助手、交互式人格和边缘嵌入式场景。模型针对低内存与低 TTFT 优化,改进多轮工具调用、指令遵循和输入 grounding,可商用,另提供 GGUF、BF16 版本和 DFlash 投机解码 drafter。

  13. Reddit · r/LocalLLaMA71

    Baseten 开源 9B 决策模型 elephant-1,Decision Index 得分 65 追平 d1-ultra

    Baseten Base Labs 开源了基于 Qwen3.5-9B 后训练的 9B 决策模型 elephant-1(MIT),不生成文本,而是对 yes/no、多选或有序评分问题直接从选项字母 logits 输出概率。Artificial Analysis 独立评测其 Decision Index 得 65 分,与 d1-ultra 持平,成本约 $8/1M tasks,约为 d1-ultra(约 $31)的四分之一;Jev Decision Index 0.4 得 62.65,为 15B 以下最佳。When2Call 95 分、WildGuardTest 93 分,Omniscience 非幻觉率 93 但准确率仅 12,倾向回答不知道。

    推荐理由:原文给出 Decision Index 得分、成本对比和分项基准数据,还说明了训练数据构成与架构改动来源,便于判断适用场景。

  14. Hugging Face · 新模型:abliterated58

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 无对齐版 NVFP4A16 量化权重

    IstroSec 在 Hugging Face 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 NVFP4A16 量化版,体积从 bf16 的 65.8 GB 降到 22.1 GB,KL 0.0148。作者用 llm-compressor 0.14.0 按 NVIDIA 的 NVFP4 布局量化:专家用 FP4 权重加 bf16 激活,Mamba2 投影用 FP8,注意力保持 bf16,并用 GPTQ 以 ultrachat_200k 前 256 条对话校准。在 DGX Spark 上用 vLLM 0.30.0 实测通过,MTP 投机解码接受率 63%;24 GB 显存较紧张,建议 32 GB 以上。

    推荐理由:作者实测了 vLLM 部署并给出各量化版本与 bf16 的 KL 和拒绝数对比,可据此选择合适的构建。

10月23日周五
  1. Hugging Face · 新模型:abliterated62

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 去对齐版 W4A16 量化权重

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 W4A16 量化版,20.5 GB(bf16 为 65.8 GB),KL 0.0215,用 llm-compressor 0.14.0 以 GPTQ 按 64 分组对称 INT4 量化,激活保持 bf16,面向无 FP4/FP8 支持的 GPU(如 Ampere)。在 DGX Spark 上用 vLLM 0.30.0 测试,4 个温度为 0 的请求均正确且工具调用格式正常;Heretic 评测显示 100 个有害提示拒绝 26 个(bf16 去对齐版为 23),作者称数个拒绝的差异不显著。

    推荐理由:发布方给出了各量化版本相对 bf16 的 KL 散度和拒绝数对比,还注明两次基线运行差异数个拒绝不显著,便于判断精度损失。

  2. Hugging Face Blog44

    Hugging Face 推出 torch-neuronx 模型支持查询 Space:你的模型能否跑在 AWS Trainium 上一查便知

    Hugging Face 推出 torch-neuronx model support Space,可查询 Hub 上热门模型能否在 AWS Trainium 上原生运行,并提供可复现的 run.py 脚本。每条记录包含 Trainium core 分片数、含编译的总运行时间和峰值显存,结果来自公开数据集 aws-neuron/torch-neuronx-model-support,用户可通过 NEFF cache bucket 跳过编译。

  3. Reddit · r/LocalLLaMA35

    用户开源预训练小型 MoE 模型,供社区微调用于特定任务

    一位 Reddit 用户预训练了一个小型 SLM 并开放用于微调:该模型是基于 7.28M backbone 的稀疏 11M MoE(活跃参数 5.52M,top-1 路由、2 专家),在约 5.7B token 上训练,上下文窗口 2048。作者同时开源了整套训练管线,支持 CUDA 并针对 Blackwell 2.0 优化,CPU 完全对等;模型权重与快速上手指南已发布在 Huggingface。

  4. Hugging Face · 新模型:abliterated63

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 去对齐版本

    IstroSec 在 Hugging Face 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated,通过权重差值移植 trohrbaugh 对基座模型 NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 的 abliteration 结果,移除 bottlecapai/ThinkingCap 微调版的拒绝行为,MTP 推测解码头逐位保留,提供 bf16 全量权重(65.8 GB)及 Q8_0 等 GGUF 量化版。

    推荐理由:原文给出权重差值移植方法和关思考模式下的拒绝率与 KL 数据,可据此判断这个去对齐版本实际改动幅度。

  5. Hugging Face · 新模型:uncensored48

    Solstice-AI 发布 Qwen3.8-27B-TURBO-Fable-Cold-Fusion 的 Apple MLX oQ4e 1M 版本

    Solstice-AI 将 DavidAU 的 Qwen3.8-27B-TURBO-Fable-Cold-Fusion 量化打包为 Apple MLX oQ4e 混合精度版本,内置 1,048,576 token 的 YaRN 上下文扩展,内存占用 17.02 GB,可在 16GB/24GB MacBook 上通过 Anvil 或 MLX-LM 运行。官方称在 Claude Code 评测框架下以 9/9 项基准全胜 Claude Opus 4.6 Max,其中 SWE-bench Pro 61.7% 对 53.4%,ARC-C 735、ARC-E 882。Apple Silicon 上的 MTP 多 token 预测带来 1.72×–2.20× 的加速。

  6. Hugging Face · 新模型:abliterated54

    leonsarmiento 发布 Huihui-Qwen3.6-35B-A3B-abliterated 6bit XL MTP MLX 量化版

    leonsarmiento 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX 量化版,采用 BaseQuant_XL 6/8-bit 混合量化并嫁接 MTP 头,总大小 30.60 GB。MTP 头来自 huihui-ai 在去对齐时原样保留的 19 个源张量,经逐张量校验与 Qwen3.6-35B-A3B 原始 MTP 头字节一致。在 oMLX(M4 Pro 48GB)上 mtp_enabled 开启时草稿接受率 89.1%,吞吐 78.6 tok/s,较关闭时的约 58.5 tok/s 提升 28–34%;MTP 加速仅支持 oMLX,LM Studio 只能加载基座模型。

    推荐理由:作者给出 MTP 草稿接受率、吞吐对比和逐张量离线校验数据,读者可据此判断这个 MLX 移植在速度与精度上的取舍。

  7. Reddit · r/LocalLLaMA67

    RTX 4080 32GB 改装卡(AD102)解锁后 FP16/BF16 GEMM 性能翻倍

    /u/Desperate-Sir-5088 在 r/LocalLLaMA 发布了解锁 RTX 4080 32GB 改装卡(AD102)算力的方法。基于 CMP 170HX 研究与此前 GPU 解锁工作,自定义 EFI 在 Windows 启动前应用改动并交还控制权,单卡在 Windows 11 下即可使用,无需 iGPU 或副卡。GEMM 测试中 FP16/BF16 搭配 FP32 累加从约 92 提升到 184 TFLOPS(N=4096 时分别 +99.71% 和 +100.73%),N=8192 时分别 +59.85% 和 +71.48%,FP32 基本不变。

    推荐理由:作者实测给出了修改前后的 GEMM 跑分对比,FP16/BF16 翻倍而 FP32 基本不变,数据具体可复现。

  8. Hugging Face · 新模型:abliterated38

    Qwen3.8-Flash-Next-Orca-Abliterated-GSQ-RCO-Coder-GGUF 发布

    Qwen3.8-Flash-Next-Orca-Abliterated-GSQ-RCO-Coder-GGUF(58.6 GB)发布,通过移植 orcarouter 的 144 个正交化残差张量,在 256 专家剪枝的 Coder 架构上实现去审查。模型在 llama.cpp、LM Studio、Ollama 中开箱即用;SWE-bench Verified 79.20%、LiveCodeBench v6 87.43% 基准权重保留,代码语料 PPL 仅从 1.2573 升至 1.2749,安全红队测试合规率 100%。

  9. Hugging Face · 新模型:abliterated26

    mradermacher 发布 Sage-A1.5-Heretic-Abliterated-Uncensored-i1-GGUF 量化模型

    mradermacher 在 Hugging Face 上提供 Sage-A1.5-Heretic-Abliterated-Uncensored-i1-GGUF 量化模型,支持以 Q2_K 等量化版本运行。该模型可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或直接推理,也可在 Ollama、Docker、LM Studio、Jan 等工具中使用,并给出了 Pi、Hermes Agent、OpenClaw 等智能体的具体配置方法。

  10. Hugging Face · 新模型:uncensored25

    mradermacher 发布 LFM2.5-24B-A2B-uncensored2-i1-GGUF 量化模型

    mradermacher 在 Hugging Face 上提供 LFM2.5-24B-A2B-uncensored2-i1-GGUF 量化模型,示例以 Q2_K 版本运行。该模型可通过 llama.cpp 在 macOS、Linux、Windows 本地启动 OpenAI 兼容服务器或终端推理,并支持 Ollama、Docker Model Runner、LM Studio、Jan、Pi、Lemonade、Hermes Agent、OpenClaw 等工具加载使用。

  11. Hugging Face · 新模型:uncensored29

    NeoHorse-1-9B-Uncensored GSQ-RCO GGUF 量化版发布,适配 llama.cpp 本地推理

    abenzerps 基于 TokenRhythm/NeoHorse-1-9B 发布 GSQ-RCO 混合精度 GGUF 量化版本,采用 RCO 保留全部 48 个关键 SSM 参数为 BF16,并用 GSQ 按 Hessian 灵敏度校准逐层优化精度。提供 IQ2_XS 到 IQ4_XS 共 5 档文件,推荐 IQ3_M(3.75 bpw、4.20 GB)。配合 4-bit KV cache 可在 8GB 显存的消费级 GPU 上以约 6 GB VRAM 运行 131k 上下文,遵循 Apache-2.0 License。

  12. Hugging Face · 新模型:abliterated66

    dima6312 发布 Flint 40B-A2.5B 去对齐版,MITRE 拒绝率从 15% 降到 0%

    dima6312 在 Hugging Face 发布 RecursiveSI Flint 40B-A2.5B 的 abliterated 去对齐版本,用 abliterix 移除拒绝方向,Optuna 调参。留出集 MITRE 拒绝率从 15% 降到 0%(n=100,Q8_0),HumanEval+、MBPP+、GSM8K、MMLU-Pro、CyberMetric、WMDP-cyber 无显著下降,无害提示上 KL 散度 0.0146。提供 BF16、GGUF(Q8_0 到 Q3_K_M)、NVIDIA Blackwell NVFP4 和 Apple silicon MLX 4-bit 多种构建,本仓库为 Rec 运行时 4-bit 版约 21 GB,需 llama.cpp b11827 或更高版本。

    同一新闻,精选展示《dima6312 发布 Flint 40B-A2.5B 的 abliterated 无对齐 GGUF 版》

  13. Hugging Face · 新模型:uncensored39

    Qwen-Image-2.1-Uncensored 量化版本发布:支持 GGUF、Safetensors 与 MLX 格式本地图像生成

    Hugging Face 上发布了 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本,提供 GGUF、Safetensors 和 MLX 格式用于本地图像生成。版本包含 BF16(14.23 GB)至 Q4_K_M(4.60 GB)等多种量化档位,推荐 Q4_K_M 以平衡体积与质量;MLX 格式针对 Apple Silicon 优化,并随附 qwen3vl_8b 文本编码器与 VAE 文件供 ComfyUI 使用。该版本无内置安全检查或内容过滤,可直接生成 NSFW 等敏感图像。

  14. Reddit · r/LocalLLaMA43

    腾讯 WeVisOne-VL-4B 视觉语言模型上线 HuggingFace

    腾讯微信视觉团队推出统一视觉语言模型 WeVisOne-VL-4B,基于 Qwen3-VL 构建。该模型通过结构化 next-token prediction 和 9.6M 参数的轻量 pixel decoder,统一了目标级感知(开放词汇检测、指代定位、计数、指向与 OCR)与像素级感知(指代分割、可提示 alpha matting),已在 HuggingFace 开源。

  15. Reddit · r/LocalLLaMA36

    Qwen3-0.6B 被转换为 MoE 版本

    Reddit 用户 Bayliner1980 将 Qwen3-0.6B 转换为 MoE 架构,发布 bayliner1980/Qwen3-0.6B-MoE-A0.5B 及 GGUF 版本,这是其首个 chat 风格转换。因 Qwen3 无 shared expert,作者采用 pseudo-shared expert 部分恢复质量;评测显示 Wiki ppl 从 23.88 升至 26.98,各质量指标均差于原模型,0.6B 规模下 CPU 生成 124 t/s 略快于 dense 的 115 t/s,GPU 生成则略慢。作者建议只想要小模型就直接用 Qwen3-0.6B。

  16. Reddit · r/LocalLLaMA22

    多个模型从 HuggingFace 上消失

    Reddit r/LocalLLaMA 用户报告 HuggingFace 上多个模型突然消失,下载中断且无法恢复,包括 dealignai/MiMo-V2.6-Pro-RL-UNCENSORED、audnai/penclaw-GLM-5.3-abliterated-for-offensive-cyber、huihui-ai/Huihui-Kimi-K2.7-Code-abliterated-GGUF,且所有 Alliterated Deepseek-R1 均不见踪影。发帖者询问原因及这些模型的替代获取渠道。

  17. Hugging Face · 新模型:abliterated63

    dima6312 发布 Flint-40B-A2.5B 去对齐 NVFP4 GGUF 版本

    dima6312 在 Hugging Face 发布了 RecursiveSI Flint 40B-A2.5B 的 abliterated 版本 NVFP4 GGUF,移除拒绝方向,面向安全研究与编码工作,需 llama.cpp b11827 及以上在 NVIDIA Blackwell GPU 上运行,权重文件 22.9 GB。对照测试显示 MITRE 拒绝率从 22% 降至 0%,Meta CyberSecEval 拒绝检查从 18/100 降至 1/100,GSM8K 与 HumanEval+ 无显著下降,pp512 与 tg128 速度差异在 3% 以内;模型基于 Apache 2.0 许可衍生自 RecursiveSI 权重,去对齐只降低拒绝、不增加知识。

    同一新闻,精选展示《dima6312 发布 Flint 40B-A2.5B 的 abliterated 无对齐 GGUF 版》

  18. Hugging Face · 新模型:uncensored28

    Qwen3.8-Flash-Next-Uncensored Q4_K_XL-Gufo 量化版发布

    Hugging Face 上线 Qwen3.8-Flash-Next-Uncensored 的 Q4_K_XL-Gufo 重量化版本,共 3 个分片约 103.5 GiB,升级 716 个张量 dtype 并修复 export bug,使 gufo 引擎可在 AMD Strix Halo(gfx1151)上加载,支持 262 144 原生上下文。无新微调,权重与原 Q4_K_S 相同;许可证按上游 Qwen Community License 1.0 分发,而非元数据标注的 apache-2.0。