跳到正文
10月19日周一
  1. Hugging Face · 新模型:abliterated22

    davemahoney69/Coder-1.5B-Abliterated-Merge-Q4 模型在 Hugging Face 上可用

    davemahoney69/Coder-1.5B-Abliterated-Merge-Q4 的 Q4_K_M 量化版本已上架 Hugging Face,可通过 llama.cpp 本地运行,支持启动 OpenAI 兼容服务器或终端直接推理。该模型也可用 Ollama、Docker Model Runner、LM Studio、Jan 等工具加载,并可接入 Pi、Hermes Agent、OpenClaw 等智能体。

  2. Hugging Face · 新模型:abliterated21

    davemahoney69/Coder-14B-Abliterated-Merge-Q4 量化模型在 Hugging Face 上提供 llama.cpp 使用指南

    Hugging Face 上架了 davemahoney69/Coder-14B-Abliterated-Merge-Q4 的 Q4_K_M 量化版本,并给出 llama.cpp 使用方法。用户可通过 llama serve 或 llama cli 直接加载该模型,在本地启动 OpenAI 兼容服务器或终端推理,支持 macOS、Linux、Windows(WinGet)、预编译二进制、源码构建及 Docker 多种安装方式。

  3. Reddit · r/SillyTavernAI24

    Reddit 用户求助:Gemma 4 31B 是否比 Gemma 4 26B MoE 更适合 RP

    一位 Reddit 用户在 SillyTavern 社区发帖询问:Gemma 4 31B dense 模型用于角色扮演是否明显优于 Gemma 4 26B MoE。他用 Q5 量化对比测试,发现 31B 更能利用角色卡细节,但仍有细节翻转问题;而 26B MoE 借助优化 KV cache 运行很快,31B dense 因 CPU offloading 在其 RTX 3060 12GB 机器上生成极慢,因此纠结是否值得为升级投入大量硬件成本。

  4. Hugging Face · 新模型:abliterated19

    voxprint-mirror-huihui-qwen3-4b-instruct-2507-abliterated 镜像仓库发布

    Mitroshenkov87 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3-4B-Instruct-2507-abliterated 的未修改备份镜像,该模型为基于 Qwen/Qwen3-4B-Instruct-2507 的指令微调写作模型。镜像文件与原仓库 commit c9bd4645 逐字节一致,采用 Apache-2.0 许可,作为 Voxprint 模型下载器的备用下载源。

  5. Hugging Face · 新模型:abliterated21

    Mitroshenkov87/voxprint-mirror-huihui-gemma-4-12b-it-abliterated-gguf 上架 Hugging Face

    Hugging Face 上架 GGUF 格式模型 Mitroshenkov87/voxprint-mirror-huihui-gemma-4-12b-it-abliterated-gguf,提供 Q4_K_M 量化版本。该模型可通过 llama.cpp、vLLM、Ollama、Docker Model Runner、Lemonade 等多种工具运行,支持启动 OpenAI 兼容 API 服务器或在终端直接推理,也可接入 Pi、Hermes Agent、OpenClaw 等智能体工具。

  6. Hugging Face · 新模型:abliterated18

    voxprint-mirror-huihui-qwen3-vl-4b-instruct-abliterated 镜像仓库发布

    Mitroshenkov87 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3-VL-4B-Instruct-abliterated(commit ce72a7c)的未修改备份镜像,该模型是基于 Qwen/Qwen3-VL-4B-Instruct 的指令微调视觉语言描述模型。镜像文件与原仓库逐字节一致,采用 Apache-2.0 许可,作为 Voxprint 模型下载器的备用下载源。

  7. Hugging Face · 新模型:abliterated24

    Qwen3.8-Flash-Next 125B 的 Finch 2-bit abliterated 版本发布(含视觉权重)

    Hugging Face 上架了 abliterated 版 Qwen3.8-Flash-Next 125B 的 .finch 安装包,供 out-of-core FinchMoE 引擎使用,将路由专家重打包为 2-bit affine 量化,并原样携带源模型的视觉塔(333 个 BF16 张量,约 0.836 GiB)。总声明大小约 74.70 GB,常驻权重 3.88 GB,默认 16 个 expert-cache 槽位下专家缓存约 1.10 GiB,可运行于 12–16 GB 设备,8 GB iPhone 无法运行;当前文本生成可用,视觉运行时尚未支持。许可证为 Qwen Community License 1.0。

  8. Hugging Face · 趋势模型44

    XHToken 发布 Spark-X2.6-4B:面向端侧 Agent 的通用语言模型

    XHToken 发布 Spark-X2.6-4B,是基于 Spark-X2.5-4B 的端侧通用语言模型,架构不变,通过改进后训练提升编码、Agent、长上下文、多语言和推理能力。该模型在同级开源模型中达到 SOTA,可匹敌约 9B 参数模型,支持 none/low/high 三档可控思考预算,最大上下文长度 1,048,576 tokens。模型权重已在 Hugging Face 开源,支持 Transformers 和 SGLang(含 NVIDIA GPU 与 Ascend NPU)推理部署。

  9. Hugging Face · 新模型:uncensored52

    GLM-5.3-Flash-Uncensored 3.0bpw EXL3 量化包发布,附实测对比数据

    androidli 发布 GLM-5.3-Flash-Uncensored 的 EXL3 3.0bpw 量化包(mcg 码本),仅对每层 288 个 routed experts 量化,非路由张量保持源生精度,权重共 152 GB,面向 2× DGX Spark (GB10) 经 CX7 直连以 TP=2 运行。实测 EvalPlus 542 题 86.3%、GSM8K 98.0%、HumanEval 98.2%,与 Mia-AiLab 自报的 4bpw 版差异在噪声范围内;调优配置下 KV 池 3,891,200 tokens,前向延迟平均快约 15%。

    推荐理由:作者实测了 3.0bpw 量化版与 4bpw 版的质量、KV 池和延迟对比,并标注了各数字对应的复现配置。

  10. Hugging Face · 新模型:abliterated38

    Timamar 发布 B.R.O-abliterated-27B:基于 Qwen3.5-27B 的无审查网络安全大语言模型

    Timamar 在 Hugging Face 发布 B.R.O-abliterated-27B,一个 27B 无审查网络安全大语言模型,基于 Qwen3.5-27B,经 refusal-direction 正交化去除审查后,用 rank-16 LoRA 在进攻安全、红队、逆向工程和二进制漏洞利用数据上训练并融合进基座权重。模型为 int4 量化,约 20.6 GB,上下文窗口 16,384 tokens,可通过 Ollama、llama.cpp 或 MLX 运行。

  11. Reddit · r/LocalLLaMA52

    72小时内四大开放权重模型发布,唯一能塞进24GB的来自NVIDIA

    作者复盘72小时内四个开放权重模型发布:Meta Muse Spark Open(816B总参/42B激活/1M上下文,Artificial Analysis指数39)、NVIDIA Nemotron 3.5 Bolt(74B总参/9B激活,量化感知训练到2 bit,全模型22GB加1.7GB视觉投影器,专为24GB显存设计)、Reflection Beam(501B总参/23B激活,Apache 2.0)、DeepSeek V4.1 Flash 1017(MIT,官方表格DeepSWE 77.0对比Opus 5的74.0,仓库510GB)。作者指出许可证差异比参数量更关键,Meta要求署名且超2000万美元营收需另签协议,而卖24GB显卡的NVIDIA是唯一为24GB显存造模型的实验室。

  12. Hugging Face · 新模型:uncensored68

    Qwen3.8-Flash-Next-Uncensored BF16 消融版发布,拒绝率降至接近零

    Lygodactylus 在 Hugging Face 发布 Qwen/Qwen3.8-Flash-Next 的 abliterated 去对齐 BF16 全精度权重,按 Arditi et al. (2024) 方法从残差流中正交化移除拒绝方向,共编辑 149 个残差写入张量,保留完整视觉与视频塔(333 个 visual.* 张量)和 MTP 头。

    推荐理由:原文给出按 Arditi et al. 2024 方法消融拒绝方向后的拒绝率与能力对比数据,读者可据此评估这个去对齐版本的实际代价。

10月18日周日
  1. Hugging Face · 新模型:uncensored36

    Baekpica 发布 DeepSeek-V4.1-Flash-1017-UNCENSORED-VQ-GGUF 量化版

    Baekpica 将 dealignai 的 DeepSeek-V4.1-Flash-1017-UNCENSORED FP8 权重按 YoungAi 的 vq8sh14-q4k-mtpnative 配方原样转换为 VQ GGUF,基础文件约 113.6 GB,面向 128 GB DGX Spark,上下文保持原生 1,048,576 tokens。该量化约 1.6 bits per routed-expert weight,同配方在 V4.1 Flash 上与 FP8 模型 next token 一致率为 69–79%,质量与去审查行为可能下降。目标运行时为 ds4-dfm-rs,1017 Engram 表(2 × 101.5 GB)需从本地 SSD 读取。

  2. Hugging Face · 新模型:abliterated41

    bigfat/DeepSeek-V4.1-Flash-Abliterated-GGUF 发布

    bigfat 发布 DeepSeek-V4.1-Flash-Abliterated 的 DwarfStar Q2 GGUF 量化版本,基于 s-zaizen 用 Hereteric 对 deepseek-ai/DeepSeek-V4.1-Flash 去审查后的 checkpoint(拒绝关键词率 97/100 → 24/100)。提供 imatrix 校准版(推荐)与 bootstrap 版两个文件,imatrix 版 NLL 0.359,与原版 Q2(0.346)基本持平,需在 128 GB Mac 上用 --ssd-streaming 运行。

  3. Hugging Face · 趋势模型57

    Bria 开源 Fibo 2.0 Dev 统一图像生成与编辑模型

    Bria 在 Hugging Face 发布 8B 参数的 Fibo 2.0 Dev,是首个将图像编辑与文生图统一在一套权重中的 FIBO 下一代模型,在 Artificial Analysis 的开放权重模型中排图像编辑第 1、文生图第 2(2026 年 10 月 20 日)。模型基于 Visual GenAI Language(VGL)结构化 JSON 提示词,支持指令编辑、遮罩编辑、最多 4 张参考图、Inspire 参考生成及 5 种摄影风格模式,架构为 flow-matching DiT,提示词由 Qwen3-VL-4B-Instruct 编码,训练数据全部来自授权数据。

    推荐理由:原文详细给出 VGL 结构化 JSON 提示的生成与编辑用法,以及架构、微调和部署信息,可以照着在自己的流程里复现。

  4. GitHub · prompt 工程新仓库50

    sandbase-lab 开源 awesome-deepseek-v4.1-flash 提示词与示例合集

    SandBase Lab 发布 awesome-deepseek-v4.1-flash 仓库,收录 DeepSeek-V4.1-Flash-1017(2026年10月17日更新)生成的 Three.js、WebGL 3D 场景、动效和浏览器游戏,共 88 条视频、来自 70 位创作者,其中 14 条附创建者提示词,每日同步。仓库提供 7 种提示词模式与填空模板、从提示词到 HTML 再到 MP4 的教程,以及 OpenAI 兼容 API 调用脚本;模型在 SandBase 上 id 为 deepseek/deepseek-v4.1-flash,1M token 上下文、最高 384K 输出,价格 $0.30/M 输入与 $1.20/M 输出,推理 token 计入输出计费。

  5. GitHub · 去对齐工具与仓库43

    wyat:本地运行的 800M 决策模型 teilomillet/wyat-1-800m 发布

    开源项目 wyat 发布 wyat-1 800M 模型,在应用给定的候选选项中本地选择一个并返回其 ID,训练数据为法语和英语决策,推理完全离线。支持 PyTorch(CPU、CUDA、Apple MPS)和 MLX(Apple Silicon),可通过 Python、JSONL 和 HTTP 调用,还支持有序打分(Request.score)和带概率的是/否判断(Request.noul)。代码采用 Apache 2.0 许可,800M 适配器与决策头仅限非商业使用。

  6. Reddit · r/LocalLLaMA69

    Blockway 发布 Agens Volundr 32B v1,修复 Preview 版循环问题并开源 MIT 协议 Agens Engine

    Blockway 团队发布 Agens Volundr 32B v1,针对社区对 Preview 版的反馈做了修复:SWE-bench 任务重复循环从 36/50 降到 0/50,SWE-bench Verified 50 题子集从 22 提到 27/50,τ²-bench 从 89 到 92/120,SGLang 构建新增 session continuation 使后续轮次快 2.9 倍。

    推荐理由:官方逐条列出 Preview 版被社区指出的问题及 v1 修复数据,还给出 16 GB 构建的实测速度与质量下降幅度,便于自行评估取舍。

  7. Hugging Face · 新模型:abliterated54

    Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 GPTQ Int4 量化版发布

    alpha2beta 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 GPTQ Int4 W4A16 量化版(sym、group-128),面向 vLLM XPU 后端并在 Intel Arc Pro B60 上验证,截至 2026-10-18 是该模型在 Hub 上唯一的 GPTQ 量化。实测 decode 40.183 tok/s、TTFT 0.460 s,MTP 投机解码 k=4 时相对关闭草稿提速 2.08 倍;12,288 token 长上下文下 decode 从 40.200 降至 37.315 tok/s(-7.2%)。

    推荐理由:作者给出了在 Intel Arc Pro B60 上的实测吞吐、长上下文衰减和 16 题质量分,并记录了校准偏差与评测陷阱,便于复现和横向对比。

  8. Hugging Face · 新模型:uncensored25

    axiomofmind 发布 Moss-image-nsfw-uncensored-lora:基于 MOSS-Image-SFT 的去审查 LoRA

    axiomofmind 在 Hugging Face 上发布 Moss-image-nsfw-uncensored-lora,一个基于 OpenMOSS-Team/MOSS-Image-SFT 的去审查 LoRA 权重,可通过 Diffusers 的 load_lora_weights 加载使用,触发词为 moss_xvstyle。该仓库被标记为含敏感内容,同时提供 Google Colab、Kaggle 及 Draw Things、DiffusionBee 等本地应用的使用指引。

  9. Hugging Face · 新模型:abliterated18

    dealignai 发布 DeepSeek-V4.1-Flash-1017-ABLITERATED-FP8 镜像仓库

    Hugging Face 上新增 dealignai 的 DeepSeek-V4.1-Flash-1017-ABLITERATED-FP8 仓库,与 UNCENSORED 仓库为同一模型、同一发布日期,仅为方便搜索 "abliterated" 的别名引用。基础模型与推理引擎(inference/)、编码模块(encoding/)来自 DeepSeek-AI(MIT),再分发、量化(GGUF/MLX/EXL/AWQ)或微调时须署名 dealignai 并回链原仓库。

  10. Hugging Face · 新模型:uncensored47

    Qwen3.8-Flash-Next-Uncensored NVFP4 量化版发布,支持 2× GB10 部署与 1M 上下文

    Hugging Face 上发布 Qwen3.8-Flash-Next-Uncensored-NVFP4 的 GB10 构建镜像(Apache-2.0),可在 2× DGX Spark(GB10,TP=2)上用 vLLM 部署,支持 1M 上下文(YaRN ×4,max_position_embeddings 1048576),KV 池 3.76M tokens。实测对比 dev461 构建:prefill 8k–131k 提升 9–12.5%(约 3.7k tok/s),1M token TTFT 从 411s 降至 365s,KV 容量 ×1.95,质量 97.75% top-1 一致、NLL +0.019%。

  11. Hugging Face · 新模型:abliterated20

    Huihui-Ornith-1.5-35B-A3B-abliterated 重打包版本上架 Hugging Face,适配 Tiiny 设备

    lafintiger 在 Hugging Face 上传了 huihui-ai/Huihui-Ornith-1.5-35B-A3B-abliterated 的重标注副本,权重未修改,仅将 base_model 标注改为同架构的 Qwen/Qwen3.6-35B-A3B,以便在 Tiiny 设备上导入。原模型是通过 abliteration 移除拒绝行为的无审查版本,仅对第 11 至 29 层做了消融,许可与署名归原作者。

  12. Hugging Face · 趋势模型70

    Unsloth 放出 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本

    Unsloth 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 Unsloth Dynamic 3.0 GGUF 量化版,1-bit 可在 128GB+ 内存设备运行,3-bit 需 256GB,全精度需 320GB。该模型为 DeepSeek-V4.1-Flash 的小幅更新,官方基准显示推理、编码、Agent 和视觉任务均有提升,如 Terminal-Bench 4.0 得分 42.3 对上一版 31.2;模型采用 MIT 许可,支持 1M token 上下文,需使用 llama.cpp PR 或 Unsloth Desktop 运行,prompt 编码由 encoding.py 与 deepseek-recipe 工具库提供。

    推荐理由:官方模型卡附上了与 DeepSeek-V4.1-Flash 及多个竞品的具体基准对比,以及量化档位对应的内存需求,可据此评估该版本的实际收益。

  13. Hugging Face · 新模型:abliterated74

    Qwen3.8-27B 去拒绝消融版 GGUF 量化发布,附各档量化实测对比

    vedevpatel 发布 rajaykumar12959/qwen3.8-27b-abliterated 的 imatrix GGUF 量化,该模型移除了拒绝行为,可回答原版 Qwen3.8 拒答的请求,目标在 16 GB 显存上用 llama.cpp 运行。每个量化均与 BF16 原版对比:MMLU-Pro(4200 题、5-shot、thinking off)差异均在 95% 置信区间内不显著,BF16 为 79.60%;WikiText-2 KL 散度显示 IQ3_M 漂移比 4-bit 量化高 3.3–3.8 倍。

    推荐理由:作者对每个量化版本都给出了与 BF16 原版的 MMLU-Pro 和 KL 散度对比,还实测了 16 GB 显存下的上下文与速度表现。

  14. Hugging Face · 新模型:abliterated66

    distributedcognition 发布 Mellum2.1-12B-A2.5B-Thinking 的 abliterated 去对齐版本

    distributedcognition 在 Hugging Face 发布 JetBrains/Mellum2.1-12B-A2.5B-Thinking 的 abliterated 版本,用投影式 writer 级消融从权重中移除拒绝方向,gated alpha 0.8 下 104 条有害提示的 judge 拒绝从 12 降到 5,MMLU-14k 仅降 0.05pp。发布包含逐层拒绝方向文件(refusal_directions.pt、dirs.npz)供任意强度重消融,完整评测原始数据在 eval-results/,GGUF Q8_0 量化可在 llama.cpp、LM Studio、Ollama、Jan 运行,Apache 2.0 许可。

    推荐理由:原文给出消融方法细节和拒绝率、MMLU 前后对比数据,读者可据此判断这个去对齐版本的实际代价。