跳到正文
今天10月27日周二3 条
  1. Hugging Face · 新模型:uncensored19

    MishraNepali Dirty-Muse-Writer-v01 Uncensored Erotica NSFW Q2_K 量化模型上线 Hugging Face

    Hugging Face 上架 MishraNepali/Dirty-Muse-Writer-v01-Uncensored-Erotica-NSFW-Q2_K,一个 Q2_K 量化的无审查情色/NSFW 写作模型。页面给出 llama.cpp、vLLM、Ollama、Docker Model Runner、Lemonade 等多种本地运行方式,支持启动 OpenAI 兼容 API 服务器或在终端直接推理。

  2. Hugging Face · 新模型:uncensored34

    Qwen-Image-2.1 Uncensored 量化版发布,提供 GGUF/Safetensors/MLX 多格式本地部署

    Hugging Face 用户 thomasdaniel87 发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本,提供 GGUF、Safetensors 和 MLX 格式,文件大小从 4.00 GB(MLX 4-bit)到 14.23 GB(BF16)不等,推荐 GGUF 使用 Q4_K_M(4.60 GB)。该版本无内置安全检查器,可直接生成 NSFW 内容,需配合 ComfyUI 与配套的 qwen3vl_8b 文本编码器和 VAE 使用,MLX 格式针对 Apple Silicon 优化。

  3. Hugging Face · 新模型:abliterated26

    Qwen3-4B-Claude-Sonnet-4-Reasoning-Distill-Heretic-Abliterated-i1-GGUF 上架 Hugging Face

    Kirill777Vais 发布的 Qwen3-4B-Claude-Sonnet-4-Reasoning-Distill-Heretic-Abliterated-Heretic-Abliterated-i1-GGUF 模型现已在 Hugging Face 开源。该模型提供 Q4_K_M 量化版本,可通过 Transformers、llama.cpp、Ollama、Docker、LM Studio、Pi、Hermes Agent、OpenClaw 等多种工具加载运行,llama.cpp 还支持启动 OpenAI 兼容的本地服务器。

10月26日周一
  1. Hugging Face · 新模型:abliterated26

    Feyospace-v1.1-Abliterated-security-MTP-UD-Q4_K_S GGUF 量化版发布

    Hugging Face 社区发布 Feyospace-v1.1-Abliterated-security-MTP-UD-Q4_K_S,这是基于 OBLITERATUS/feyospace-s1-obliterated 的 GGUF 量化版,面向本地网络安全研究、代码分析与工具辅助调查。该构建采用 UD-Q4_K_S 混合精度布局、面向安全的 importance-matrix 校准,并保留 MTP 头以支持投机解码;上游模型约 28B 参数、Qwen3.5 架构、Apache-2.0 许可,最大上下文 262,144 tokens。该卡未提供此量化版的 benchmark 结果,最终张量清单与质量保留情况尚待验证。

  2. Hugging Face · 新模型:uncensored75

    BoldingBuilds 发布 GLM-5.3-Flash-Uncensored 的 imatrix GGUF 量化并实测去对齐效果

    BoldingBuilds 放出 OrcaRouter 去 GLM-5.3-Flash-Uncensored(320B 总参数/18B 激活 MoE、288 路由专家、1M 上下文)的 imatrix GGUF 量化,含 IQ3_XXS、IQ2_M、IQ2_S、IQ2_XXS 四档,并修正共享专家与 attention 量化配方使 IQ2_S 等通过全部 48 项一致性测试。量化权重上实测 JailbreakBench 有害拒绝率 0.040(OrcaRouter FP8 为 0.120,base 为 0.930),HumanEval pass@1 0.927;作者指出空输出会计为服从,提醒评测时必须同时报告空输出数,文件已适配 mainline llama.cpp 与 LM Studio 模板。

  3. GitHub · 去对齐工具与仓库41

    HAYAT:Windows 本地优先的私有 AI 助手开源项目

    GitHub 上的 HAYAT 是一个运行在用户自己电脑上的 Windows 本地优先 AI 助手,基于 Ollama 运行 HAYAT-35B-A3B(Qwen3.6-35B-A3B,约 3B 激活参数)模型,无需云端账号和付费 API。它支持语音对话、网络研究、摄像头与屏幕识别、Windows 应用控制、图像视频生成和长期记忆,外发操作需用户批准,另有 2.5-4.3 GB 的 HAYAT-Open-4B 轻量模型可选。

  4. Hugging Face · 新模型:uncensored56

    Qwen3.8-Flash-Next-Uncensored 2-bit MLX 量化版发布,附 DFlash2 加速与 M1 Max 实测

    3hs4n 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX 优化量化版,目标模型采用 affine 2-bit/group-128 重建,搭配 Inco AI 的 BF16 DFlash2 草稿模型,完整下载 74.048 GB。在 M1 Max 64 GiB 实测中,代码与数学 warm 解码达 37.62 和 33.69 tokens/s,约为基线的 1.70× 和 1.56×,文本仅 1.048×;固定 50 题 GSM8K 子集全部答对且与原生参考一致,进程峰值内存 42.12 GiB。

    推荐理由:作者实测了 M1 Max 上代码与数学解码的加速倍数和内存峰值,并给出 32/48/64 GiB 的可行性判断,便于评估本地部署。

  5. Hugging Face · 新模型:uncensored48

    Qwen3.8-Flash-Next-Uncensored MLX 2/8-bit 优化转换包发布

    Hugging Face 用户 3hs4n 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX 优化量化转换包,基于 360 GB BF16 源检查点,专家投影采用 affine 2-bit/group128,其余投影为 8-bit/group64,文件约 72.8 GB。验证含 50 题 GSM8K 子集、烟雾测试(15/18 通过)及文本生成约 23.5 tokens/s 的计时结果;模型采用原生 qwen4_exp 多模态实现,可配合 run_qwen38_unsloth.py 以 16384 上下文运行。

10月25日周日
  1. Hugging Face · 新模型:abliterated24

    Qwen3.8-Flash-Next-Abliterated Sushi 3bpw 实验性量化版本发布

    sanasol2008 基于 orcarouter/Qwen3.8-Flash-Next-Uncensored 的 BF16 权重制作了 Sushi 格式 3bpw 实验性量化包,路由专家采用 EXL3 K3 编码,未额外做 abliteration 或微调。完整下载约 79.22 GiB,在 Apple M3 Max 48 GiB 上冷解码 11.88 tok/s、热解码 12.88 tok/s,慢于 2bpw 版本;校准误差相对 2bpw(相对 Frobenius 误差 0.029 对 0.064)更低,支持 262144 上下文配置上限。

  2. Hugging Face · 新模型:uncensored35

    Spark-X2.6-4B-Uncensored GSQ-RCO GGUF 量化版发布

    abenzerps 发布 XHToken/Spark-X2.6-4B 的混合精度 GSQ-RCO GGUF 量化版,面向 llama.cpp 本地推理。RCO 将 36 个 sigmoid 注意力门控和 9 个全局注意力投影保留为 BF16,GSQ 依 Hessian 灵敏度校准优化每层精度,推荐 IQ3_M(2.28 GB)。4-bit KV cache 下 131k 上下文约需 3.5–4 GB 显存,支持 llama.cpp 与 Ollama,采用 Apache-2.0 许可。

  3. Hugging Face · 新模型:uncensored23

    Hugging Face 上架 Harsha001/Qwen3.8-27B-Uncensored-ROCmFPX 模型

    Hugging Face 发布 Harsha001/Qwen3.8-27B-Uncensored-ROCmFPX,提供 Q8_0_ROCMFPX 量化版本。该模型可通过 llama.cpp 本地部署,支持 OpenAI 兼容服务器,也可用 Ollama 运行(ollama run hf.co/Harsha001/Qwen3.8-27B-Uncensored-ROCmFPX:Q8_0_ROCMFPX),并可在 Docker Model Runner、Lemonade 及 LM Studio、Jan、Pi、Hermes Agent、OpenClaw 等工具中加载使用。

10月24日周六
  1. Hugging Face · 新模型:uncensored36

    GLM-5.3-Flash 去审查版 Maya-L GGUF 量化发布,支持 1M 上下文

    Adolphsson 在 Hugging Face 发布 GLM-5.3-Flash 去审查版的 Maya-L GGUF 量化,基于 dealignai 的 CRACK 去审查 FP8 检查点(原模型 zai-org/GLM-5.3-Flash),仅做量化,保留 MTP 草稿块与视觉 mmproj 文件,上下文 1M tokens,总量 156.3 GB,分 4 个分片,MIT 许可。单张 RTX 5090 实测 1M 上下文 28.5 tok/s,256K 上下文开 MTP 提速约 16%;该版本仅通过功能验证,尚未跑 MMLU 等基准。

  2. Hugging Face · 趋势模型77

    ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 非均匀量化 GGUF

    ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本,用 GSQ 加 RCO 的梯度搜索按张量敏感度分配量化类型,提供 IQ1_M、IQ2_XXS、IQ2_XS 三档。IQ2_XXS(2.00 bpw)在 AIME25、GPQA-Diamond、LiveCodeBench v6 上完全追平 FP8/FP4 基模型,任务均值恢复 100.0%;IQ1_M 保留 98.7%。配合 Strata 引擎可在单张 12 GB VRAM 的 GPU 上运行;llama.cpp 截至 2026 年 10 月 23 日尚不支持该模型。

    推荐理由:原文给出了各量化的基准恢复率和完整方法与分配文件,读者可以据此判断低比特量化到底损失了多少能力。

  3. Hugging Face · 新模型:abliterated57

    staccs 发布 DeepSeek-V4.1-Flash-1017 abliterated 版单文件 GGUF 量化包

    staccs 发布了 106.8 GB 单文件 GGUF,对 dealignai 制作的 DeepSeek-V4.1-Flash-1017 abliterated(UNCENSORED-FP8)版本重新量化,采用 lecore 激活校准的 11-bit 向量量化处理路由专家(2048 码本条目、65,536 校准 token,1.39 bpw,cosine 0.909),注意力骨架用 q4_K,共享专家 VQ 11-bit。评测以未量化源模型为教师,WikiText-2 上 2k/16k 上下文困惑度 2.817/2.936,top-1 一致率 80.2%/78.6%,优于未校准的 vq10sh12 版本(PPL 3.615、top-1 74.5%)。

    推荐理由:作者用未量化源模型给出困惑度、KL 散度和 top-1 一致率对照,可据此评估这套 11-bit VQ 量化的损耗。

10月23日周五
  1. Hugging Face · 新模型:uncensored48

    Solstice-AI 发布 Qwen3.8-27B-TURBO-Fable-Cold-Fusion 的 Apple MLX oQ4e 1M 版本

    Solstice-AI 将 DavidAU 的 Qwen3.8-27B-TURBO-Fable-Cold-Fusion 量化打包为 Apple MLX oQ4e 混合精度版本,内置 1,048,576 token 的 YaRN 上下文扩展,内存占用 17.02 GB,可在 16GB/24GB MacBook 上通过 Anvil 或 MLX-LM 运行。官方称在 Claude Code 评测框架下以 9/9 项基准全胜 Claude Opus 4.6 Max,其中 SWE-bench Pro 61.7% 对 53.4%,ARC-C 735、ARC-E 882。Apple Silicon 上的 MTP 多 token 预测带来 1.72×–2.20× 的加速。

  2. Hugging Face · 新模型:uncensored29

    NeoHorse-1-9B-Uncensored GSQ-RCO GGUF 量化版发布,适配 llama.cpp 本地推理

    abenzerps 基于 TokenRhythm/NeoHorse-1-9B 发布 GSQ-RCO 混合精度 GGUF 量化版本,采用 RCO 保留全部 48 个关键 SSM 参数为 BF16,并用 GSQ 按 Hessian 灵敏度校准逐层优化精度。提供 IQ2_XS 到 IQ4_XS 共 5 档文件,推荐 IQ3_M(3.75 bpw、4.20 GB)。配合 4-bit KV cache 可在 8GB 显存的消费级 GPU 上以约 6 GB VRAM 运行 131k 上下文,遵循 Apache-2.0 License。

  3. Hugging Face · 新模型:abliterated29

    Huihui-Qwen3.6-35B-A3B-abliterated 的 Orinfer E8P Q4A8 量化版上线 Hugging Face

    基于 huihui-ai 的 abliterated Qwen3.6-35B-A3B 模型、面向 Jetson AGX Orin 64GB 的 Orinfer E8P Q4A8 量化版在 Hugging Face 发布,权重共 35,951,822,704 参数、约 4.209 bits/权重,上下文 262,144 tokens,需 Orinfer v0.2.1 运行。验证显示单次请求 65.83 tokens/s,10/11 自动评分任务通过,权重采用 Apache-2.0 许可。

10月22日周四
  1. GitHub · 去对齐工具与仓库58

    yfHHHE 开源 emoji-native-lm:只会用 1 到 3 个 emoji 回复的 Qwen3-1.7B 微调模型

    yfHHHE 发布 emoji-native-lm,基于 Qwen3-1.7B 用 LoRA 做 SFT 加 DPO 微调,对任何输入只以 1-3 个 emoji 回复。训练数据约 12k 条中英文聊天消息,由 Claude Opus 生成并回复,覆盖 1,915 种 emoji;666 条评测提示下经 wrapper 的回复 100% 合规,首轮采样合规率 98.9%,而基座 Qwen3-1.7B 为 0%。仓库提供 Ollama 与 llama.cpp 的 GGUF(1.8 GB q8_0)及 Python wrapper 部署方案,代码采用 Apache 2.0 许可。

    推荐理由:仓库公开了数据生成、SFT、DPO 到 GRPO 失败与修复的完整脚本和实测数据,读者可以照此复现并借鉴其偏见修正做法。

  2. Hugging Face · 新模型:uncensored23

    mradermacher 发布 Ministral-3-8B-Reasoning-UNCENSORED-heretic-i1 GGUF 量化版本

    mradermacher 在 Hugging Face 上提供 Ministral-3-8B-Reasoning-UNCENSORED-heretic-i1 的 GGUF 量化版本,支持 Q2_K 等量化格式。该模型可通过 llama.cpp、Ollama、Docker Model Runner、Lemonade 等工具以 OpenAI 兼容服务器或命令行方式本地运行,也可接入 Pi、Hermes、OpenClaw 等智能体工具。

  3. Hugging Face · 新模型:abliterated20

    privastudio 发布 Qwen3.8-27B Abliterated GGUF 版本

    privastudio 在 Hugging Face 上重新分发 huihui-ai 制作的 Huihui-Qwen3.8-27B-abliterated 的 Q4_K GGUF 量化版(约 16.8 GB),打包为可在 PrivaEmanator 中本地加载的格式。该模型基于 Qwen3.8-27B,由 huihui-ai 移除了拒绝回答行为,附带 mmproj-BF16.gguf 视觉投影文件以支持图像输入,采用 Apache-2.0 许可证。

  4. Reddit · r/LocalLLaMA60

    KittenML 开源 Kitten-TTS 2:1.58-bit 三值权重 TTS,CPU 实时运行

    KittenML 发布 Kitten-TTS 2 的代码与权重,称其为首个 1.58-bit(三值)TTS 模型,1.7B 参数,仅靠 CPU 即可实时生成。支持少于 5 秒参考音频的 zero-shot 声音克隆、20+ 语言跨语言克隆,以及重音与情感表达控制;代码和权重开源,提供 GitHub 与 Hugging Face 链接,定位为 ElevenLabs 的开源替代。

    推荐理由:1.58-bit 三值权重让这个 1.7B TTS 只靠 CPU 就能实时运行,对没有 GPU 的本地部署用户是可查的开源替代选项。

  5. Reddit · r/LocalLLaMA50

    Mica v0.5 发布:最快的 4B 决策模型,单次决策仅 19.8 ms

    Mica v0.5 是一个 4B 决策模型,可跑在单张消费级 GPU 上,在 RTX 6000 Ada 上 256 tokens 决策耗时 19.8 ms,比其他 4B 评测模型快至多 3.8x,比 API 决策模型快 25 到 340x。它在 JevBench Hard 得 84/111,为已知 4B 模型最佳,JDI 得 58.8,超过所有受测 9B 和 35B 模型。提供 INT8、BF16、Q8_0、IQ4_XS 等格式,8 GB 显存即可运行,采用 Apache-2.0 开源。

  6. Hugging Face · 新模型:uncensored51

    GLM-5.3-Flash-UNCENSORED 路由专家 GGUF 发布,可在 1-2 张 RTX 3090 上运行

    ily-lab 发布 GLM-5.3-Flash-UNCENSORED 的 R2-40 IQ5_KS 路由专家 GGUF,供 g53 引擎在 1-2 张 RTX 3090 上运行这个 320B 总参 / 18B 激活的 MoE 模型。该模型基于 zai-org/GLM-5.3-Flash(MIT),由 dealignai 制作去对齐版本,移除了安全拒绝;专家文件约 207 GB 分 13 个分片,密集骨干来自 dealignai/GLM-5.3-Flash-UNCENSORED-FP8,相对 BF16 的平均 KL 散度为 0.026-0.036,并附 BF16 视觉投影器 gguf 支持图像输入。专家文件本身也是含全部张量的有效 ik_llama.cpp GGUF。

10月21日周三
  1. Hugging Face · 新模型:uncensored20

    mradermacher 发布 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Thinking 的 bf16-i1 GGUF 量化版本

    mradermacher 在 Hugging Face 上线 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Thinking-bf16-i1-GGUF 量化模型,提供 Q2_K 等量化格式。该模型可通过 llama.cpp 的 llama serve / llama cli 直接运行,支持 OpenAI 兼容本地服务器,并适配 Ollama、Docker Model Runner、Lemonade、LM Studio 等多种本地工具。

  2. Hugging Face · 趋势模型59

    HuggingFaceBio 发布 14.8B DNA 语言模型 Carbon-X

    Hugging Face 联合 Zhongguancun Academy 与 Telethon 遗传学研究所发布开源 14.8B 模型 Carbon-X,基于 Qwen3-14B,用混合 tokenizer 在单一 decoder 中联合建模 DNA 序列与自然语言。五项 DNA 基准平均 66.7%(关闭思考),比起点 Qwen3-14B 高 27 分,接近 GPT-6.1 Sol 的 67.5% 而推理成本约为其 1/1800,分析 ClinVar 全部 240 万意义不明变异约花 $300。权重以 bfloat16 适配单张 80 GB GPU,可用 vLLM 部署,支持作为 agent 工具调用,未做临床验证、不可用于医疗决策。

    推荐理由:原文给出五项 DNA 基准得分、成本对比和完整训练配方,读者可以据此评估这个 DNA 语言模型的实际水平与用法。

  3. AIHOT · 精选56

    Meta 开源权重模型 Muse Spark Open 在 Fireworks 上线,816B MoE 支持 1M token 上下文

    Meta 的开源权重模型 Muse Spark Open 在 Fireworks 上线,提供 Day-0 serverless 调用。该模型为 816B 参数 MoE 架构,每 token 激活 42B 参数,上下文窗口 1M token,主打长上下文编码与 Agent 工作。

    推荐理由:给出了参数规模、激活参数和上下文窗口等关键配置,读者可据此判断该模型是否适合长上下文和 Agent 场景。

  4. Hugging Face · 新模型:abliterated18

    dan9070 发布 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated 量化模型(IQ3_S/Q8PLE)

    dan9070 在 Hugging Face 上发布 abliterated 版模型 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated-IQ3_S-Q8PLE,提供 Q8_0 等量化版本。该模型可通过 llama.cpp 本地运行,支持 OpenAI 兼容服务器与终端推理,并可在 Ollama、Docker Model Runner、Lemonade 等工具中直接调用。

  5. Reddit · r/LocalLLaMA38

    Spark-X2.6-4B 发布:基于 Spark-X2.5-4B 后训练升级的端侧小模型

    Spark-X2.6-4B 发布,架构与 Spark-X2.5-4B 完全相同,能力提升来自改进的后训练,在编程、智能体、长上下文、多语言和推理等方面显著增强。该模型在同等规模开源模型中达到 SOTA,可匹敌约 9B 参数的模型,并提供 none、low、high 三档可配置思考预算以平衡推理质量、延迟与推理成本,面向端侧部署。

  6. Hugging Face · 新模型:uncensored43

    MiMo-V2.6-Flash-RL-UNCENSORED 实验性 IQ2 量化 GGUF 发布

    BattleGhost 发布 dealignai/MiMo-V2.6-Flash-RL-UNCENSORED 的实验性 GGUF 量化版本,默认 IQ2_XXS、47 个专家 FFN down 投影用 IQ2_S,4 分片共 91.70 GB,MIT 许可。WikiText-2 测试中相对 MXFP4 参考困惑度升至 6.539(高 37.4%),优于全 IQ2_XXS 版本的 6.886。该版本面向 llama.cpp 本地推理,不新增安全训练或内容审核。

  7. Reddit · r/LocalLLaMA68

    Kyutai 发布 1.9M 至 18.2M 参数的 Pocket TTS 小型语音克隆模型

    Kyutai 于 10 月 20 日发布三款更小的 Pocket TTS 模型,参数量分别为 1.9M、6.9M 和 18.2M,均为英语模型,支持声音克隆并设计为在 CPU 上运行,可在其 demo 中切换尺寸。作者认为实用之处在于让语音生成留在 CPU、把 GPU 留给本地 LLM,倾向从 6.9M 版本入手;参数量统计包含音频解码器,处理参考声音的编码器是独立的,参考音只需编码一次。代码与安装说明由 /u/BerryBlush_Rogers691 提交。

    推荐理由:作者给出了把语音生成留在 CPU、把 GPU 让给 LLM 的本地部署思路,并指出参数量统计包含音频解码器这一细节。