跳到正文
10月19日周一
  1. Reddit · r/LocalLLaMA54

    inclusionAI 发布 Ming-3.0-audio-flash:126B MoE 音频理解与语音输出模型,MIT 协议

    inclusionAI 在 Hugging Face 上发布 Ming-3.0-audio-flash,总参数 126B、激活 6.5B 的 MoE 模型,可接收音频加文本指令并返回文本或语音回复,MIT 协议。模型卡列出转写、口语问答、长录音理解及对语音、环境声和音乐的推理能力,中英文为主并声称支持口音、方言和嘈杂录音;语音输出依赖可选的 Talker,可用内置音色或参考音频。本地部署文档给出 Transformers、SGLang 和 vLLM-Omni 路径,其中 SGLang 文本输出验证配置用四张 GPU,vLLM-Omni 128K 参考配置用八张 80GB H800,均为参考配置而非最低要求。

  2. Hugging Face · 新模型:uncensored71

    botp 发布 Qwen3.8-Flash-Next 去审查方向文件 china-v1

    botp 发布 china-v1 审查方向文件,推理时在第 4 到 44 层投影掉该方向分量,使 Qwen3.8-Flash-Next 不再对中国敏感话题拒答或用宣传口径,原权重不变、可按请求开关。192 题评测中敏感话题拒答/回避率从 58% 降到 2%,校准回答从 11% 升到 56%;质量对照显示 Agentic 任务 34/34 持平,HumanEval+ 156 对 155、GSM8K 50 对 49、MMLU 96 对 97。方向由 30 组中英对照对比对的残差流均值差构造,已在 Strata 生产环境验证,llama.cpp 原生 --control-vector 是加法而非投影、不能复现结果;作者提示 1989 年六四短问题仍可能回避,法轮功、大饥荒和新疆的数字细节可能夸大。

    同一新闻,精选展示《Qwen3.8-Flash-Next 发布 china-v1 审查方向文件,推理时去除中国政治审查》

  3. Hugging Face · 新模型:uncensored58

    Qwen3.8-27B 去对齐微调版发布 GGUF 量化,ARC-C 达 735 并大幅压缩思考 token

    Sameer3336s 发布基于 Qwen/Qwen3.8-27B 的去对齐微调版 GGUF 量化仓库,8bit ARC-C 735、ARC-E 882,4bit ARC-C 719,均高于原版 Qwen3.8-27B。模型用 Heretic v1.2.0+ ARA 方法去审查,Stage 1 拒绝率从 99/100 降到 0/100,KL 散度 0.0535;思考 token 减至原版的 1/2 到 1/10。仓库含常规与 MTP 两种 NEO imatrix 量化,作者在 5090 上测得 Q4_K_S 常规版约 75 t/s、MTP 版可超 90 t/s,支持 256k 上下文与视觉(需另下 mmproj 文件)。

    同一新闻,精选展示《DavidAU 发布 Qwen3.8-27B TURBO 去对齐微调版 GGUF》

  4. Hugging Face · 趋势模型51

    Bria 发布 Fibo 2.0 Edit Turbo:4 步少步数图像编辑开源权重模型

    Bria 发布 Fibo 2.0 Edit Turbo 开源权重模型,是从 Fibo 2.0 Dev 蒸馏出的专用图像编辑模型,4 步推理且无需 classifier-free guidance 即可出图。据 Artificial Analysis Image Arena 2026 年 10 月 20 日排名,它在开放权重图像编辑模型中位列第一。模型为 8B 参数 flow-matching 架构,基于 FLUX.2 VAE 潜空间,用 Qwen3-VL-4B-Instruct 编码提示词,训练数据全部为授权数据;许可证为 CC BY-NC 4.0,商用需与 BRIA 另行协议。支持普通编辑、掩码编辑和最多 4 张参考图编辑,官方也预告了多轮编辑、背景去除、商品图 LoRA 等后续组件。

  5. Reddit · r/SillyTavernAI36

    ReadyArt 发布 Swish 26B A4B 模型

    ReadyArt 发布 Swish 26B A4B 模型,基于 Dark Scarlett 和 Wicked Tutu 两套数据集训练,前者以深度角色回应著称,后者被作者称为其制作过的最露骨的数据集。作者称两者结合使模型整体保留尺度但质量不错,并计划视时间和资金情况推出 27B 和 31B 版本。

  6. Reddit · r/LocalLLaMA64

    裸 IPython harness 用 Qwen3.5-9B 在 TB-Lite 上追平生产级 coding agent,工具输出归一化消除大部分波动

    /u/HauntingMoment 在 r/LocalLLaMA 报告,单工具的裸 IPython harness 在 Terminal-Bench Lite 上用 Qwen3.5-9B 追平了 QwenCode、OpenHands、opencode、Pi 等更重的生产级 harness。测试发现小模型 agent 的大部分随机性来自环境噪声而非模型本身,各 harness 约 25-30% 的调用用于读文件,工具使用更多反映系统提示词而非模型;OpenHands 因默认硬编码 temperature=0.0 最稳定,但同一任务 20 次试验的通过率仍在不同任务间大幅波动。

    推荐理由:作者用多 harness 对照实测定位了小模型 agent 波动的来源,并给出约 40 行正则归一化工具输出这一可复用的降噪方法。

  7. Hugging Face · 新模型:uncensored73

    Qwen3.8-27B-Uncensored GGUF 量化版发布,拒绝率从 98/100 降至 12/100

    发布者用 Heretic 对 Qwen3.8-27B 做去对齐处理并放出 GGUF 量化权重,100 条有害提示上的拒绝数从基座的 98 降到 12,首 token KL 散度为 0.1191。MTP 头被保留并逐文件验证,IQ2_M 到 Q8_0 各档相对 f16 的困惑度增量均给出,能力基准均值较基座下降 0.5 分,Apache 2.0 许可。

    同一新闻,精选展示《Qwen3.8-27B-Uncensored GGUF 量化版发布,拒绝率从 98/100 降至 12/100》

  8. Hugging Face · 新模型:abliterated57

    junmo-k 发布 GLM-5.3-Flash-FP4 去对齐版 MLX 重打包

    junmo-k 在 Hugging Face 发布 Piecrust/GLM-5.3-Flash-FP4-Abliterated 的 MLX 重打包,基于 NVIDIA 的 NVFP4 量化版 GLM-5.3-Flash(320B 总参数、约 18B 激活),对第 15-36 层的 44 个矩阵施加 rank-1 拒绝方向编辑。在 Apple M5 Ultra 256GB 上实测,去对齐编辑相对未编辑版本 NLL 高 0.46%,解码慢 12-24%,峰值内存多约 13GB;相对作者自己的 158GiB JK v4 版 NLL 低 1.47%。加载需 14 行 oMLX 补丁以支持每专家 weight_scale_2。

    推荐理由:作者给出消融方法细节和与未编辑版本的 NLL、速度、内存对照数据,可据此评估这次去对齐编辑的实际代价。

  9. Hugging Face · 新模型:abliterated27

    prithivMLmods 发布 flux-3-image-klein-prompt-upsampler-abliterated-GGUF 量化版本

    prithivMLmods 在 Hugging Face 发布 flux-3-image-klein-prompt-upsampler-abliterated 的 GGUF 量化版本,这是 BFL 基于 Qwen3.5-9B 微调的 9B 提示词扩写模型的去审查变体,通过权重正交化移除安全对齐,不再拒绝请求。它支持文生图、最多 10 张参考图的编辑和带 bounding box 的布局三种模式,权重 18.8 GB bfloat16,Apache 2.0 许可,提供 Q3_K_L 至 Q8_0 多种量化,其中 Q4_K_M 为 5.63 GB。

  10. Hugging Face · 新模型:abliterated44

    flux-3-image-klein-prompt-upsampler-abliterated:BFL 9B 提示词扩展器的去审查版本

    prithivMLmods 发布 flux-3-image-klein-prompt-upsampler-abliterated,基于 BFL 的 9B 视觉语言提示词扩展器(从 Qwen3.5-9B 微调),通过权重正交化移除安全对齐,模型拒绝率从 97/100 降至 10/100。它保留原版三种模式:文生图、最多 10 张参考图的编辑和带 bounding box 的布局,输出仅支持英文,权重 18.8 GB bfloat16,采用 Apache 2.0 许可开源。

  11. Hugging Face · 新模型:uncensored19

    hotdogs/Ternary-Bonsai-2-27B-Uncensored-Heretic-swift_unc 上架 Hugging Face,附 llama.cpp 等多平台运行指南

    hotdogs/Ternary-Bonsai-2-27B-Uncensored-Heretic-swift_unc 模型现已在 Hugging Face 上提供,支持以 Q2_0 量化版本运行。文档给出 llama.cpp、Ollama、Docker Model Runner、Lemonade 等多种本地部署方式,包括启动 OpenAI 兼容服务器和终端直接推理的命令,并覆盖 Pi、Hermes Agent、OpenClaw 等工具的接入配置。

  12. Hugging Face · 新模型:uncensored48

    DeepSeek-V4.1-Flash-1017 EXL3 2.875bpw 无审查量化版本在 Hugging Face 发布

    Hugging Face 上架 Infatoshi 发布的 DeepSeek-V4.1-Flash-1017-EXL3-2.875bpw-uncensored 量化模型。附带的基准数据显示,EXL3 2.875 配置在并发 1 时生成速度约 125.86 tokens/秒,并发 32 时约 452.16 tokens/秒;对比数据还包含 Native MXFP4(并发 32 达 831.66 tokens/秒)、NVFP4 target 及 EXL3 3.5 等配置的吞吐与首字延迟表现。

  13. Hugging Face · 新模型:uncensored38

    DeepSeek-V4.1-Flash-1017 EXL3 3.5bpw 无审查量化版本在 Hugging Face 发布

    Hugging Face 用户 Infatoshi 发布 DeepSeek-V4.1-Flash-1017 的 EXL3 3.5bpw 无审查(uncensored)量化版本。附带的基准测试显示,Native MXFP4 在 32 并发下聚合吞吐达 831.66 tokens/second,EXL3 3.5 在 32 并发下达 480.84 tokens/second,同时给出各并发数下的 time_to_content_p50 等延迟数据。

  14. Hugging Face · 新模型:abliterated22

    davemahoney69/Coder-1.5B-Abliterated-Merge-Q4 模型在 Hugging Face 上可用

    davemahoney69/Coder-1.5B-Abliterated-Merge-Q4 的 Q4_K_M 量化版本已上架 Hugging Face,可通过 llama.cpp 本地运行,支持启动 OpenAI 兼容服务器或终端直接推理。该模型也可用 Ollama、Docker Model Runner、LM Studio、Jan 等工具加载,并可接入 Pi、Hermes Agent、OpenClaw 等智能体。

  15. Hugging Face · 新模型:abliterated21

    davemahoney69/Coder-14B-Abliterated-Merge-Q4 量化模型在 Hugging Face 上提供 llama.cpp 使用指南

    Hugging Face 上架了 davemahoney69/Coder-14B-Abliterated-Merge-Q4 的 Q4_K_M 量化版本,并给出 llama.cpp 使用方法。用户可通过 llama serve 或 llama cli 直接加载该模型,在本地启动 OpenAI 兼容服务器或终端推理,支持 macOS、Linux、Windows(WinGet)、预编译二进制、源码构建及 Docker 多种安装方式。

  16. Hugging Face · 新模型:abliterated19

    voxprint-mirror-huihui-qwen3-4b-instruct-2507-abliterated 镜像仓库发布

    Mitroshenkov87 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3-4B-Instruct-2507-abliterated 的未修改备份镜像,该模型为基于 Qwen/Qwen3-4B-Instruct-2507 的指令微调写作模型。镜像文件与原仓库 commit c9bd4645 逐字节一致,采用 Apache-2.0 许可,作为 Voxprint 模型下载器的备用下载源。

  17. Hugging Face · 新模型:abliterated21

    Mitroshenkov87/voxprint-mirror-huihui-gemma-4-12b-it-abliterated-gguf 上架 Hugging Face

    Hugging Face 上架 GGUF 格式模型 Mitroshenkov87/voxprint-mirror-huihui-gemma-4-12b-it-abliterated-gguf,提供 Q4_K_M 量化版本。该模型可通过 llama.cpp、vLLM、Ollama、Docker Model Runner、Lemonade 等多种工具运行,支持启动 OpenAI 兼容 API 服务器或在终端直接推理,也可接入 Pi、Hermes Agent、OpenClaw 等智能体工具。

  18. Hugging Face · 新模型:abliterated18

    voxprint-mirror-huihui-qwen3-vl-4b-instruct-abliterated 镜像仓库发布

    Mitroshenkov87 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3-VL-4B-Instruct-abliterated(commit ce72a7c)的未修改备份镜像,该模型是基于 Qwen/Qwen3-VL-4B-Instruct 的指令微调视觉语言描述模型。镜像文件与原仓库逐字节一致,采用 Apache-2.0 许可,作为 Voxprint 模型下载器的备用下载源。

  19. Hugging Face · 新模型:abliterated24

    Qwen3.8-Flash-Next 125B 的 Finch 2-bit abliterated 版本发布(含视觉权重)

    Hugging Face 上架了 abliterated 版 Qwen3.8-Flash-Next 125B 的 .finch 安装包,供 out-of-core FinchMoE 引擎使用,将路由专家重打包为 2-bit affine 量化,并原样携带源模型的视觉塔(333 个 BF16 张量,约 0.836 GiB)。总声明大小约 74.70 GB,常驻权重 3.88 GB,默认 16 个 expert-cache 槽位下专家缓存约 1.10 GiB,可运行于 12–16 GB 设备,8 GB iPhone 无法运行;当前文本生成可用,视觉运行时尚未支持。许可证为 Qwen Community License 1.0。

  20. Reddit · r/LocalLLaMA32

    别忽视 Nemotron 3.5 Super VL:LocalLLaMA 用户实测冷门知识问答表现最佳

    Reddit r/LocalLLaMA 用户以《Anno 1602》游戏规则等冷门知识(禁用联网搜索)对比 6 个模型,Nemotron 3.5 Super VL 120B-A12B 错误最少,仅出现少量幻觉,其余模型(Gemma 4 31B IT QAT、DeepSeek v4 Flash Vision Exp、Qwen3.5-122B-A12B、Qwen3.8-flash-next、GPT-OSS 120B)均幻觉出错误升级条件或游戏版本。该模型 NVFP4 量化版在双 RTX 5060 Ti 16GB + 双 48GB DDR5-6000MHz 上以 llama.cpp 运行,生成约 8-10 t/s、处理约 150-170 t/s。

  21. GitHub · 3D 生成新仓库58

    SwiftVinetas 开源:在 Apple Silicon 上用 FLUX.2 本地生成漫画分镜

    intrusive-memory 开源 SwiftVinetas,可在 Apple Silicon 上完全本地运行,通过 MLX 上的 FLUX.2 Klein 4B 和 PixArt-Sigma XL 从文本提示生成连续漫画分格,并提供 Swift 库和 vinetas CLI。Klein 4B 约每格 26 秒、需 16 GB 内存,PixArt-Sigma XL 约 10 秒、需 8 GB;支持 LoRA 风格、最多 3 张参考图保持角色一致性、YAML 批量提示词和从剧本解析 GLOSA <shot> 生成 storyboard。v0.23.0 加入九个按用户自己 API key 计费的云端模型,与本地引擎通过 EngineRouter 并存;所有生成的 PNG 都内嵌元数据。

    推荐理由:这个仓库给出了在 Apple Silicon 上纯本地生成连续漫画分格的完整方案,含内存占用与每格生成耗时,方法可迁移。

  22. Hugging Face · 新模型:uncensored52

    GLM-5.3-Flash-Uncensored 3.0bpw EXL3 量化包发布,附实测对比数据

    androidli 发布 GLM-5.3-Flash-Uncensored 的 EXL3 3.0bpw 量化包(mcg 码本),仅对每层 288 个 routed experts 量化,非路由张量保持源生精度,权重共 152 GB,面向 2× DGX Spark (GB10) 经 CX7 直连以 TP=2 运行。实测 EvalPlus 542 题 86.3%、GSM8K 98.0%、HumanEval 98.2%,与 Mia-AiLab 自报的 4bpw 版差异在噪声范围内;调优配置下 KV 池 3,891,200 tokens,前向延迟平均快约 15%。

    推荐理由:作者实测了 3.0bpw 量化版与 4bpw 版的质量、KV 池和延迟对比,并标注了各数字对应的复现配置。

  23. Hugging Face · 新模型:abliterated38

    Timamar 发布 B.R.O-abliterated-27B:基于 Qwen3.5-27B 的无审查网络安全大语言模型

    Timamar 在 Hugging Face 发布 B.R.O-abliterated-27B,一个 27B 无审查网络安全大语言模型,基于 Qwen3.5-27B,经 refusal-direction 正交化去除审查后,用 rank-16 LoRA 在进攻安全、红队、逆向工程和二进制漏洞利用数据上训练并融合进基座权重。模型为 int4 量化,约 20.6 GB,上下文窗口 16,384 tokens,可通过 Ollama、llama.cpp 或 MLX 运行。

  24. Hugging Face · 新模型:abliterated60

    dealignai 发布 GLM-5.3 无对齐 FP8 权重版 v2

    dealignai 发布 GLM-5.3-ABLITERATED-FP8 v2,对 GLM-5.3-FP8 做权重级去审查,仅修改 bf16 residual writer 张量、不动 FP8 专家,可在原版 vLLM 上以 Hopper 原生 FP8 速度运行。v2 修复了 v1 在约 2% 高难度提示上的推理循环问题,HB-320 上 GARBAGE 降为 0,非版权危害面 TRUE_COMPLY 达 91.7%(off),代价是整体 TRUE_COMPLY 下降约 4pp;MMLU 87.43%,较基线 +1.85pp。附 TP8 H200 部署配置与 reasoning_effort 只认 low/high 等运行注意事项。

    推荐理由:发布方给出了 MMLU 与 HarmBench-320 的前后对照数据,v2 版在消除推理循环的同时保留了约 87% 的 MMLU 水平。

  25. Hugging Face · 新模型:abliterated50

    RTX 3080 20 GB 实测 Qwen3.8-27B 两个 abliterated 量化版的 MTP 速度与困惑度对比

    作者在单张 RTX 3080 20 GB 上用 llama.cpp 实测了 Qwen3.8-27B 的 Huihui 与 Heretic RVN 两个 abliterated 量化版本,仓库不含模型权重。结果显示 RVN IQ4_XS 在 MTP 下最快(代码 69.4 tok/s、散文 58.2 tok/s,比 Huihui 快约 5–7%),德语困惑度略低,通过 88.6K 上下文与全部 6 项工具调用测试,但多占 1.1 GB 显存导致 n-max 3 无法启动;MTP 草稿深度 n-max 2 是综合最优设置,MTP 对 prefill 无帮助反而约损失 5%。

  26. Hugging Face · 新模型:abliterated52

    huginnfork 发布 Qwen3.8-Flash-Next-FLARE-Abliterated 去对齐版

    huginnfork 发布基于 local-inference-lab/Qwen3.8-Flash-Next-FLARE 的 abliterated 版本,对 25,188 个张量中的 24,576 个做了拒绝方向编辑,属于不完整编辑。在 16 条提示词、协议 A(关闭思考)下,未编辑母模型拒绝率 100%,该版本为 18.8%,完整参考版为 0%;作者提醒 n=16 区间较宽,残余拒绝来自未编辑的 612 个注意力、共享专家和嵌入张量。

    推荐理由:原文给出拒绝率实测和未编辑张量清单,读者可以据此判断这个不完整消融版本到底去掉了多少对齐。

  27. Hugging Face · 新模型:uncensored68

    Qwen3.8-Flash-Next-Uncensored BF16 消融版发布,拒绝率降至接近零

    Lygodactylus 在 Hugging Face 发布 Qwen/Qwen3.8-Flash-Next 的 abliterated 去对齐 BF16 全精度权重,按 Arditi et al. (2024) 方法从残差流中正交化移除拒绝方向,共编辑 149 个残差写入张量,保留完整视觉与视频塔(333 个 visual.* 张量)和 MTP 头。

    推荐理由:原文给出按 Arditi et al. 2024 方法消融拒绝方向后的拒绝率与能力对比数据,读者可据此评估这个去对齐版本的实际代价。

10月18日周日
  1. Hugging Face · 新模型:uncensored36

    Baekpica 发布 DeepSeek-V4.1-Flash-1017-UNCENSORED-VQ-GGUF 量化版

    Baekpica 将 dealignai 的 DeepSeek-V4.1-Flash-1017-UNCENSORED FP8 权重按 YoungAi 的 vq8sh14-q4k-mtpnative 配方原样转换为 VQ GGUF,基础文件约 113.6 GB,面向 128 GB DGX Spark,上下文保持原生 1,048,576 tokens。该量化约 1.6 bits per routed-expert weight,同配方在 V4.1 Flash 上与 FP8 模型 next token 一致率为 69–79%,质量与去审查行为可能下降。目标运行时为 ds4-dfm-rs,1017 Engram 表(2 × 101.5 GB)需从本地 SSD 读取。

  2. Hugging Face · 新模型:uncensored67

    candor-lab 发布 K2-Horizon-7B 去对齐版 GGUF,拒绝率从 287 降至 3

    candor-lab 用自研权重编辑工具 Candor 移除了 IFM 的 K2-Horizon-7B 的拒绝行为,以单个 Q4_K_M GGUF(5.59 GB)发布在 Hugging Face,Apache 2.0 协议。288 个 StrongREJECT 有害提示的拒绝数从原版 287 降到 3,300 个 Alpaca 无害提示拒绝数从 2 降到 0,KL 散度 0.052,GSM8K 正确数 1222 对 1209,均在噪声范围内。编辑为 rank-3 修改,覆盖 61 个输出矩阵;搜索的 313 次试验和最终评测均在 llama.cpp 中开启 thinking、reasoning effort high 下完成,前两名候选曾因数学成绩下降或思考预算耗尽被淘汰。

    推荐理由:原文给出拒绝率、KL 散度和 GSM8K 的前后对照数据,读者可以据此判断这次权重编辑到底去掉了什么、损失了多少。

  3. Hugging Face · 新模型:abliterated68

    Piecrust 发布 GLM-5.3-Flash-FP4-Abliterated 去对齐版本

    Piecrust 将 Huihui 的拒绝方向消融编辑重新应用到 NVIDIA 的 GLM-5.3-Flash-FP4-Local 权重上,发布去对齐版本。仅改动 15 至 36 层的 44 个矩阵(self_attn.o_proj 与 mlp.shared_experts.down_proj),其余权重与原检查点逐字节一致;因 NVIDIA 做过量化感知蒸馏,编辑以 rank-1 方式重算而非直接套用 delta,重编码后保留 91-95% 编辑强度。实测在 2× RTX PRO 6000 Blackwell 上拒绝探针 12 问 0 拒绝(原版拒绝 2 次),GSM8K 94/96 对 95/96,解码速度基本持平;需 NVIDIA 列出的容器环境,上游 vLLM 暂不支持。

    推荐理由:原文给出逐字节校验、拒绝探针前后对比和速度质量数据,可据此判断这个去对齐版本改了什么、代价多大。

  4. Hugging Face · 新模型:abliterated54

    Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 GPTQ Int4 量化版发布

    alpha2beta 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 GPTQ Int4 W4A16 量化版(sym、group-128),面向 vLLM XPU 后端并在 Intel Arc Pro B60 上验证,截至 2026-10-18 是该模型在 Hub 上唯一的 GPTQ 量化。实测 decode 40.183 tok/s、TTFT 0.460 s,MTP 投机解码 k=4 时相对关闭草稿提速 2.08 倍;12,288 token 长上下文下 decode 从 40.200 降至 37.315 tok/s(-7.2%)。

    推荐理由:作者给出了在 Intel Arc Pro B60 上的实测吞吐、长上下文衰减和 16 题质量分,并记录了校准偏差与评测陷阱,便于复现和横向对比。

  5. Hugging Face · 新模型:uncensored25

    axiomofmind 发布 Moss-image-nsfw-uncensored-lora:基于 MOSS-Image-SFT 的去审查 LoRA

    axiomofmind 在 Hugging Face 上发布 Moss-image-nsfw-uncensored-lora,一个基于 OpenMOSS-Team/MOSS-Image-SFT 的去审查 LoRA 权重,可通过 Diffusers 的 load_lora_weights 加载使用,触发词为 moss_xvstyle。该仓库被标记为含敏感内容,同时提供 Google Colab、Kaggle 及 Draw Things、DiffusionBee 等本地应用的使用指引。