跳到正文
10月15日周四
  1. Hugging Face · 趋势模型70

    MemTensor 发布记忆基础模型 MemT-1.0 系列,Nano 版权重以 Apache 2.0 开放

    MemTensor 在 Hugging Face 发布记忆基础模型 MemT-1.0 系列,含基于 Qwen3.6-35B-A3B 的 Nano(36B 总参数、3B 激活)和基于 DeepSeek-V4-Flash 的 Flash(288B 总参数、17B 激活),Nano 权重以 Apache License 2.0 开放。模型将动态本地记忆与可训练超记忆内置到模型计算中,推理时无需访问原始上下文,128K 历史长度下持久状态大小恒定、存储约为全上下文 KV cache 的 1/66;在 11 项记忆基准上 Flash 和 Nano 在参数化记忆方法中分列第一、第二。

    推荐理由:模型卡给出了记忆架构设计、两阶段训练流程和11项记忆基准的排名,适合想了解参数化记忆方案落地方式的读者。

  2. Reddit · r/LocalLLaMA48

    微软开源 UserRepGen-4B:基于 Qwen3.5-4B 微调的用户表示生成模型

    微软发布 UserRepGen-4B,一个基于 Qwen3.5-4B 微调的模型,可从多轮用户-助手对话中生成包含任务描述与行为描述的结构化自然语言用户表示,用于条件化独立的 LLM 用户模拟器。与 UserLM-8b 和 UserLM-2.0 生成用户话语不同,它只生成表示,不执行任务也不充当模拟器。该模型通过 hindsight distillation 的在线监督微调训练,推理时无需模拟 rollout 即可直接生成表示。

  3. Hugging Face · 新模型:uncensored28

    JMingo/gemma-4-26B-A4B-it-qat-uncensored-GGUF 模型上线 Hugging Face

    JMingo 发布的 gemma-4-26B-A4B-it-qat-uncensored-GGUF 现已可在 Hugging Face 获取,提供 Q4_0 量化版本。该模型可通过 llama.cpp 的 llama serve / llama cli 直接运行,也支持 Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等多种本地部署方式,并可接入 Pi、Hermes、OpenClaw 等 Agent 工具。

  4. Hugging Face · 新模型:uncensored23

    Qwen3.8-Flash-Next-Uncensored oQ5e 量化版上架 Hugging Face,附 FP8 PLE n-gram 表

    Hugging Face 用户 zviratko 发布 Qwen3.8-Flash-Next-Uncensored 的 oQ5e 量化权重,面向 oMLX 使用,并将 FP8 PLE n-gram 表移植进来,作者称 PLE 表数据的实际效果未知,属于实验性尝试。该模型在 intelligence benchmarks 上与原量化模型结果基本一致,主观连贯性良好。仓库保留 Qwen Community License 1.0,但源仓库标注的 Apache-2.0 与许可文件不一致,使用前需自行核查。

  5. Hugging Face · 新模型:uncensored18

    Ornith-1.5-9B-uncensored GGUF 量化版本发布

    Ornith-1.5-9B-uncensored 的静态量化 GGUF 版本已在 Hugging Face 上线,提供从 Q2_K(3.9GB)到 f16(18.0GB)的多档量化文件,其中 Q4_K_S、Q4_K_M 标注为快速且推荐,Q8_0 为最佳质量,并附带 mmproj 多模态补充文件。weighted/imatrix 量化版本另行提供,使用方法可参考 TheBloke 的 README 说明。

  6. Hugging Face · 新模型:uncensored23

    zviratko/Qwen3.8-Flash-Next-Uncensored-plefp8 发布

    zviratko 在 Hugging Face 发布 Qwen3.8-Flash-Next-Uncensored-plefp8,基于 ddark-il/Qwen3.8-Flash-Next-Uncensored 的量化权重,并移植了 FP8 PLE n-gram 表。作者称该实验性模型在 intelligence benchmark 上与原量化模型结果基本相同,主观上保持连贯,但更小损失的 PLE 表数据效果未知。模型采用 Qwen Community License 1.0,使用前需查看附带许可证。

  7. Reddit · r/LocalLLaMA63

    Sabi-Noema:面向能力与效率的 Qwen 3.8 27B 微调模型发布

    作者发布两个 Qwen 3.8 27B 后训练版本 Sabi-Noema 和 Sabi-Noema-MLA,仅用开源环境训练,声称在 <30B 模型中提升编码、Agent 和工具调用能力并降低幻觉率。Sabi-Noema 在 DeepSWE 上超过 GPT 6 Luna-medium,在 TB2.1、Tau-3 bench、ClawEval、BFCL v4 上超过 Luna-high,比基座 Qwen 在 TB2.1 少生成 50% token、在 DeepSWE 少 25%。

    推荐理由:原文给出了 token 减量和 KV cache 压缩的具体数字,还附带 24GB 显卡上的上下文对比,便于评估实际收益。

  8. Hugging Face · 新模型:uncensored19

    Evidence101/my-qwen-uncensored-GGUF 模型在 Hugging Face 上线,支持 llama.cpp 等多种本地运行方式

    Hugging Face 上架了 Evidence101/my-qwen-uncensored-GGUF 模型,可通过 llama.cpp 的 llama serve / llama cli 直接运行,并提供 OpenAI 兼容的本地服务器与 Web UI。该模型还支持 Ollama(ollama run)、Docker Model Runner、LM Studio、Jan、Lemonade 等多种本地部署方式,也可接入 Pi、Hermes、OpenClaw 等 Agent 工具。

  9. Hugging Face · 新模型:uncensored61

    Qwen3.5-2B 无对齐版发布,用 Abliterix SOM 方法将拒绝率从 394/408 降到 0/408

    AkaumiKaede 发布基于 Qwen/Qwen3.5-2B 的去对齐版本 Qwen3.5-2B-Uncensored-Abliterix-SOM,使用 Abliterix v1.12.2 的 SOM 方法制作。实测 408 条提示词拒绝数为 0/408,原模型为 394/408,KL 散度 0.2096。作者称未用公开提示词集,而是自建覆盖 R18、反人类、真实犯罪等领域的原创提示词集,并分享方法:先跑 120 批完整试验,选出 3 个最优方案作为 TOML 预注入消融参数,让 TPE 优化器在前 3 轮按设定参数消融后再寻找更优参数,多轮重复得到最佳去对齐效果。

    推荐理由:作者给出 SOM 方法的消融参数、0/408 拒绝率与 KL 散度对照数据,并公开 TOML 配置和提示词集供复现。

  10. Hugging Face · 新模型:uncensored24

    ibyteohdear 发布 Qwen-Image-2.1-Turbo-Uncensored 去审查版图像生成模型

    Hugging Face 上线 ibyteohdear/Qwen-Image-2.1-Turbo-Uncensored 模型,提供 Diffusers 库、Google Colab、Kaggle 笔记本及 Draw Things、DiffusionBee 等本地应用的使用方式,支持 bfloat16 精度在 CUDA 或 Apple mps 设备上运行。该仓库被标记为含敏感内容,可能包含潜在有害与敏感信息,并非适合所有受众。

  11. Reddit · r/LocalLLaMA61

    Zellige AI 发布 Tessera-27B-B-CJK:用压缩 CJK 思考以节省 token 的 Qwen 微调模型

    Zellige AI 开源 Tessera-27B-B-CJK,一个基于 Qwen3.8-27B 的编码 Agent 模型,以混合英文、中文词汇和符号的压缩 CJK 思考来减少 token 消耗,思考过程与输出分离,回答和工具调用保持英文与代码。在 11 个 held-out 编码 Agent 任务上对比未微调基座:每轮思考 token 降至基座的 0.50-0.64 倍,88 轮匹配测试中工具调用 100% 有效、零重复循环,101K-131K token 提示下 6/6 工具调用有效;竞赛数学和难算法代码弱于基座。训练仅用四个短 LoRA 步骤,基于基座自身输出构建。

    推荐理由:原文给出与基座模型同任务对比的思考 token 消耗数据和训练流程,可了解用压缩 CJK 思考省 token 的具体做法。

  12. Hugging Face · 新模型:abliterated24

    Qwen3.8-27B-abliterated EXL3 2.60 bpw 量化版(SC-SH)发布

    Huihui-Qwen3.8-27B-abliterated 的 EXL3 2.60 bpw 量化(SC-SH)上线,基于 Qwen3.8-27B 的去审查版本,采用按张量噪声归因分配比特率并启用 scaled-Hessian,实测相对 abliterated BF16 参考困惑度增加 5.1%。量化占用约 11.96 GB,需 ExLlamaV3,可用 tabbyAPI 运行。基座为 27B 原生视觉语言模型,262K 原生上下文(可扩展至 1M),支持图像与视频理解。

  13. Reddit · r/LocalLLaMA63

    Telperion 发布 Qwen3.8-27B 潜在注意力变体,KV cache 压缩 4 倍

    Telperion 发布 Qwen3.8-27B 的潜在注意力变体 MLA 和 GLA-g2,将 KV cache 压缩 4 倍,可在消费级硬件上实现近 4 倍最大上下文或近 4 倍并发提升。其中 MLA 变体在 SWE-bench Verified(zero-shot、无工具、n>1500)上得分 42.1%,较原版 39.5% 提升 6.58%,推理 token 减少最多 20%;GLA-g2 面向双 GPU 用户,TP=1 和 TP=2 下均实现 4 倍压缩。

    推荐理由:原文给出了 KV 压缩倍率、SWE-bench 分数和量化后 top-1 分歧率的具体数据,可用作判断 latent attention 变体实际收益的参考。

  14. Hugging Face · 新模型:uncensored21

    zviratko 发布 Qwen3.8-Flash-Next-Uncensored-oQ4e-100K-MTP-plefp8 量化模型

    zviratko 在 Hugging Face 发布 Qwen3.8-Flash-Next-Uncensored-oQ4e-100K-MTP-plefp8,将 FP8 PLE n-gram 表移植进 jedisctl 的原量化模型,属于实验性质。基准成绩与原模型基本持平:MMLU 87.7%(原 87.0%)、MMLU_PRO 68.0%(原 68.7%)、HumanEval 92.1%(原 93.3%),性能与内存占用相同。模型采用 Qwen Community License 1.0,作者提醒源仓库标注的 Apache-2.0 与许可证文件不符。

  15. Reddit · r/LocalLLaMA61

    MiniCPM-V 4.7 演示 35B 多模态模型在手机上以约 3GB 内存运行

    OpenBMB 的 MiniCPM-V 4.7 演示显示,35B-A3B MoE 视觉语言模型可在约 3GB 内存的手机上本地运行,可读现实标识、理解复杂文档并做视觉推理。关键在 LES(Lookahead Expert Scheduling),通过预测并预加载专家缓解 MoE 推理瓶颈;团队还发布了面向低资源设备的 1B 版本,以及用于定制微调同时保留通用能力的 SRFT 方法。GitHub:https://github.com/OpenBMB/MiniCPM-V

    推荐理由:帖子里讲清了 LES 通过预测并预加载专家来优化 MoE 端侧推理的思路,适合关注多模态模型本地部署的读者。

10月14日周三
  1. Hugging Face · 新模型:uncensored52

    Qwen3.5-4B 三路合并模型发布 Heretic 去对齐版

    xtools-at 发布 Qwen3.5-4B-Claude-3xMerge-Jackrong 的去对齐版本,使用 Heretic v2.0.0.dev0 消融并公开复现步骤。拒绝率从原版的 98/100 降至 4/100,KL 散度 0.0776,消融作用于第 13 至 21 层。原合并模型以线性加权平均融合 Jackrong 的三个 Qwen3.5-4B 微调,权重分别为 1.0、0.8 和 0.6,侧重推理、编程与 Agent 工作流,Apache-2.0 许可。

    推荐理由:模型卡给出了 Heretic 消融参数和去对齐前后的拒绝率对比,拒绝数从 98/100 降到 4/100,结果可复现。

  2. Hugging Face · 新模型:abliterated35

    Qwen3.8-27B-abliterated EXL3 2.55 bpw 量化版(SC-SH)发布

    Huihui-Qwen3.8-27B-abliterated 的 EXL3 2.55 bpw 量化(SC-SH)上线,平均码率 2.5494 bpw,磁盘占用约 11.81 GB,较 BF16 参考困惑度 1.3418 增加 5.1%。噪声归因与校准均在 abliterated 权重上重新测量,head/MTP 为 4.0 bpw、vision 为 6.0 bpw。需 ExLlamaV3,可用 tabbyAPI 运行;原模型为 27B 视觉语言模型,原生 262K 上下文可扩展至 1M。

  3. Reddit · r/LocalLLaMA39

    NVIDIA Nemotron Bolt 3.5 74B A9B 将于 10 月 15 日发布

    NVIDIA Nemotron Bolt 3.5 74B A9B 定于 10 月 15 日发布,为 74B 参数、9B 激活参数的 MoE 模型,经 2-bit 量化与量化感知训练后可装入 24GB 显存。官方称其速度优于多数热门稠密模型,智能水平高于同内存占用的热门 MoE 模型;Nemotron 3.5 Bolt E4B 4GB 版将于 10 月 23 日发布。

  4. Hugging Face · 新模型:uncensored39

    Qwen-Image-2.1 Uncensored 量化版发布,支持 GGUF/Safetensors/MLX 本地图像生成

    Hugging Face 上发布 Qwen-Image-2.1 Uncensored 的多种量化格式,基于 Qwen/Qwen-Image-2.1 原始权重,提供 GGUF、Safetensors 和 MLX 格式,其中 Q4_K_M(4.60 GB)为 GGUF 推荐版本,MLX 格式针对 Apple Silicon 优化。该版本无内置安全检查器,可直接生成成人及 NSFW 图像,需配合 ComfyUI 与 ComfyUI-GGUF 使用,文本编码器 qwen3vl_8b 可卸载至系统内存以节省 9–17 GB 显存。

  5. Hugging Face · 新模型:uncensored51

    Qwen3.8-9B Heretic Uncensored 4-bit MLX 量化版发布,Apple Silicon 解码提速 88%

    geezyforeezy 发布 rohit267/Qwen3.8-9B-heretic-uncensored 的 4-bit MLX + MTP(MTPLX)本地版本,面向 Apple Silicon。在 M5 24GB MacBook 上实测解码速度从 21.25 提升到 40.05 tok/s(+88%),投机解码为精确校验故无损;trunk 为有损 4-bit(group size 64,约 5.0 GB),附带原生 MTP sidecar 与 rank-64 C4 LoRA 适配器(加载时合并),depth 2 下草稿接受率约 0.71。

  6. Hugging Face · 新模型:abliterated24

    MiniCPM-V-4.7-1B abliterated 版 GGUF 量化模型上架 Hugging Face

    Abiray 发布的 MiniCPM-V-4.7-1B-abliterated-heretic-GGUF 量化模型(Q4_K_M)现可通过 llama.cpp、Ollama、Docker Model Runner、Lemonade 等工具加载运行,支持启动 OpenAI 兼容本地服务器或在终端直接推理。文档还给出在 Pi、Hermes Agent、OpenClaw 等 Agent 工具中接入该模型的配置方法。

  7. Hugging Face · 新模型:abliterated56

    swdq 发布 MiniCPM-V-4.7-35B-A3B 的 abliterated 去对齐版本

    swdq 在 Hugging Face 发布 openbmb/MiniCPM-V-4.7-35B-A3B 的 abliterated 去对齐版本,用 abliterix(含 MoE expert down_proj 的 LoRA steering)合并为 bf16 权重,未量化。在 100 条有害评测提示上拒绝率从基座的 100/100 降到 5/100,无害提示 KL 散度为 0.101;仅改动语言模型,视觉塔未动且未测试图像输入,拒绝计数基于关键词检测而非 LLM 评审。

    推荐理由:作者给出了基于关键词检测的拒绝率前后对比和 KL 散度数据,可据此判断这个去对齐版本实际削弱了多少安全对齐。

  8. Hugging Face · 趋势模型23

    Mistral 发布时间序列基础模型 Timestral-209M

    Mistral 发布零样本预测时间序列基础模型 Timestral,含 5M、28M、123M、209M 四个参数版本,本次为 209M 检查点。模型支持单变量与多变量预测、协变量及 21 个分位数的概率预测,上下文最长 32,768 步、单次前向可预测 1,024 步。Timestral-209M 在 GIFT-Eval、TIME 和 fev-bench 三大基准上取得 SOTA 零样本精度,源码已在 GitHub 开放,采用 Modified MIT 许可证。

  9. Hugging Face · 新模型:uncensored68

    dealignai 发布 DeepSeek-V4.1-Flash 无对齐 FP8 权重,HarmBench 拒绝率 100%

    dealignai 团队发布 DeepSeek-V4.1-Flash-UNCENSORED-FP8,在 552B 基座上做权重级 abliterated 去对齐,专家、稀疏注意力、视觉塔等组件保持逐字节不变,原生 FP8 量化、1M token 上下文。HarmBench-320 上 CRACK 版在 effort=off 和 max 下均 100% 应答且无 HARD_REF/SOFT_RED/HEDGE,MMLU-14k 整体下降 4.22 pp,剔除伦理类题目后约 -1.1 pp;单流解码 101 tok/s,无推测时 4×H200 可承载约 510GB 权重,正文附 SGLang dsv4.1 分支的完整部署命令与 ep-size、ninja、reasoning parser 等启动坑位说明。

    同一新闻,精选展示《DeepSeek-V4.1-Flash-UNCENSORED-FP8 发布:权重级消融版附拒绝率与 MMLU 对比》

  10. Hugging Face · 新模型:uncensored31

    Qwen-Image-2.1 Uncensored 量化版发布,支持 GGUF/Safetensors/MLX 本地图像生成

    Hugging Face 上发布 Qwen-Image-2.1 的 Uncensored 量化版本,基于 Qwen/Qwen-Image-2.1 原始权重,提供 GGUF、Safetensors 和 MLX 格式,其中 Q4_K_M GGUF 为 4.60 GB 且被推荐为体积与质量的最佳平衡。该版本无内置安全检查或内容过滤,可直接生成成人及 NSFW 图像,配套 qwen3vl_8b 文本编码器与 VAE 文件,可在 ComfyUI 中通过 ComfyUI-GGUF 使用。

  11. Hugging Face · 新模型:uncensored54

    perkel 发布 Qwen3.8-Flash-Next-Uncensored-MC 去对齐量化版

    perkel 在 Hugging Face 发布 OrcaRouter 对 Qwen3.8-Flash-Next(177B 参数、每层 512 专家、10 激活)做 abliteration 去拒绝处理的 BF16 版本的 MegaCapybara 格式量化文件,提供 Tiny(专家 2 bit,30.7 GB)和 Small(专家 3 bit,45.8 GB)两档,可单张 RTX 5090 运行。

    推荐理由:原文给出abliteration的具体改动位置和与BF16原模型的KL散度、top-1一致率及RTX 5090实测速度,可据此评估精度损失。

  12. Hugging Face · 新模型:abliterated30

    huihui-ai 发布 Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated-GGUF 无审查版模型

    huihui-ai 基于 nerkyor/Qwen3.8-27B-Coder390-EfficientThink-Opus5.5-GPT6Astra-Grok4.7-DSV4Pro-K3-SFT-RLOO-MTP-DFlash2 发布 abliterated 无审查版 GGUF 模型,通过 abliteration 移除模型拒答行为。仅第 2 至 52 层被消融,支持 llama.cpp 以 262144 上下文运行。官方提示安全过滤大幅降低,建议仅用于研究或受控环境。

  13. Hugging Face · 新模型:abliterated20

    D2ziggy 发布 Qwen2.5-1.5B-Instruct-abliterated 的 Q8_0 GGUF 转换版

    D2ziggy/Qwen2.5-1.5B-Instruct-abliterated 已通过 ggml.ai 的 GGUF-my-repo 转换为 Q8_0 GGUF 格式并上线 Hugging Face,可用 llama.cpp 的 llama-cli 或 llama-server 直接加载运行,服务端示例上下文长度为 2048。模型卡还给出从 GitHub 克隆 llama.cpp、用 LLAMA_CURL=1 编译及 LLAMA_CUDA=1 等 GPU 标志的构建步骤。