跳到正文
只看开源模型
10月24日周六
  3. Hugging Face · 新模型：uncensored20

    DavidAU 发布 NVIDIA-Nemotron-3.5-Bolt-E4B-Heretic-Uncensored-Turbo-Brilliance-50x-INST-R-NEO GGUF 模型

    DavidAU 在 Hugging Face 上架 NVIDIA-Nemotron-3.5-Bolt-E4B-Heretic-Uncensored-Turbo-Brilliance-50x-INST-R-NEO 的 GGUF 版本，属"TURBO BRILLIANCE 50x"系列，目标是减少 token 并提升模型质量与 IQ。该系列覆盖 3B 到 120B 且持续扩充；此模型将提供 64k（Nvidia 设定）和 128k 上下文版本，Heretic 处理与 Imatrix 尚在完成中，可通过 Transformers、vLLM、SGLang 及 Docker 使用。

  4. Hugging Face · 新模型：abliterated51

    staccs 发布 DeepSeek-V4.1-Flash-1017 abliterated 版的校准 11-bit VQ 量化 GGUF

    staccs 发布 pqhaz/DeepSeek-V4.1-Flash-1017-heretic（DeepSeek-V4.1-Flash-1017 的 pqhaz abliterated 版）的 106.8 GB 单文件 GGUF，对 557B 参数的 routed experts 采用 lecore 激活校准 11-bit 矢量量化（2048 条码本、65,536 校准 token），Engram n-gram 表沿用原版需另下载约 203 GB。以未量化源模型为教师的评测显示 2k 上下文困惑度 2.762、top-1 一致率 80.9%，优于未校准的 vq10sh12 版（PPL 3.615、top-1 74.5%）。

  5. Hugging Face · 新模型：abliterated57

    staccs 发布 DeepSeek-V4.1-Flash-1017 abliterated 版单文件 GGUF 量化包

    staccs 发布了 106.8 GB 单文件 GGUF，对 dealignai 制作的 DeepSeek-V4.1-Flash-1017 abliterated（UNCENSORED-FP8）版本重新量化，采用 lecore 激活校准的 11-bit 向量量化处理路由专家（2048 码本条目、65,536 校准 token，1.39 bpw，cosine 0.909），注意力骨架用 q4_K，共享专家 VQ 11-bit。评测以未量化源模型为教师，WikiText-2 上 2k/16k 上下文困惑度 2.817/2.936，top-1 一致率 80.2%/78.6%，优于未校准的 vq10sh12 版本（PPL 3.615、top-1 74.5%）。

    推荐理由：作者用未量化源模型给出困惑度、KL 散度和 top-1 一致率对照，可据此评估这套 11-bit VQ 量化的损耗。

  6. Hugging Face · 新模型：abliterated52

    DeepSeek-V4.1-Flash-1017 abliterated 版发布 106.8 GB 单文件 lecore vq11 校准 GGUF 量化

    staccs 在 Hugging Face 发布 rumplestilzken/DeepSeek-V4.1-Flash-1017-abliterated 的单文件 GGUF，大小 106.8 GB，对 557B 参数的路由专家采用 lecore 激活校准 11-bit 向量量化（2048 码本条目，65,536 校准 token），1.39 bpw、加权余弦 0.909。评测以未量化源模型为 teacher，2k/16k 上下文困惑度 2.821/2.950，top-1 一致率 80.5%/78.4%，优于未校准的 vq10sh12 版（PPL 3.615、top-1 74.5%）。

    同一新闻，精选展示《staccs 发布 DeepSeek-V4.1-Flash-1017 abliterated 版单文件 GGUF 量化包》

  7. Hugging Face · 新模型：abliterated50

    DeepSeek-V4.1-Flash-1017 abliterated 版 106.8 GB lecore 校准 VQ GGUF 发布

    mrfakename 的 DeepSeek-V4.1-Flash-1017-abliterated 被重新量化为单个 106.8 GB 的 lecore 校准 11-bit VQ GGUF 文件，路由专家参数 557B，码本 2048 条目、1.39 bpw。在 WikiText-2 上 2k/16k 上下文 perplexity 分别为 2.799/2.917，top-1 与源模型一致率 80.3%/78.5%，优于此前未校准的 vq10sh12 版（PPL 3.615）。

  8. Reddit · r/LocalLLaMA41

    ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 量化版本

    ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 智能量化版本，量化文件已上架 HuggingFace。目前 llama.cpp 尚不支持该模型，因其原始架构支持代码还未合并；模型卡提及 Strata 支持，但发帖者认为原版 Strata 只支持 Qwen3.8-Flash-Next，实际可能指 Xolotl 或 Maya 等 Strata 衍生分支。

  9. Hugging Face · 新模型：uncensored23

    GLM-5.2 FP8 Uncensored 的 Colibri int4 转换版发布

    Hugging Face 上发布了 zandenAI/GLM-5.2-FP8-Uncensored 的 Colibri int4 独立转换版，供 C 推理引擎 JustVugg/colibri 使用，该引擎将稠密部分保留在内存中并从本地存储流式读取 MoE 专家权重。转换采用行式 int4 量化（嵌入与 LM head 为 int8，norms 与路由权重为 FP32），非标准 Transformers/vLLM/GGUF 格式，须用 Colibri 加载，遵循 MIT 许可。

  11. Hugging Face · 新模型：abliterated18

    EsteefAi 镜像发布 gemma-3-4b-it-abliterated-v2 GGUF 模型

    Esteef.Ai 为 Philibert 镜像了 mlabonne 基于 Google Gemma 3 制作的 abliterated 版模型 gemma-3-4b-it-abliterated-v2-GGUF。镜像文件与原版逐字节一致，未做任何修改，其中 q6_k 量化文件的 SHA-256 为 47636d77…。Philibert 在用户请求该模型时通过 `ollama pull hf.co/EsteefAi/gemma-3-4b-it-abliterated-v2-GGUF-mirror` 下载，许可证沿用 Gemma Terms of Use。

  13. Hugging Face · 新模型：uncensored18

    EsteefAi 镜像 Orenguteng 的 Llama-3-8B-Lexi-Uncensored GGUF 模型

    EsteefAi 在 Hugging Face 发布 Llama-3-8B-Lexi-Uncensored-GGUF-mirror，逐字节复制 Orenguteng 基于 Meta Llama 3 的 Llama-3-8B-Lexi-Uncensored GGUF 文件（如 Q5_K_M 量化），SHA-256 校验一致且无修改，供 Philibert 通过 Ollama 拉取保持安装可用。原模型遵循 Meta Llama 3 Community License，版权归原作者所有。

  14. Hugging Face · 新模型：uncensored18

    EsteefAi 发布 Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive-mirror 镜像模型

    Hugging Face 上架 EsteefAi/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive-mirror 镜像模型，默认量化为 Q4_K_M。该模型可通过 llama.cpp、Ollama、Docker、LM Studio、Pi、Hermes Agent、OpenClaw 等工具本地运行，llama.cpp 支持启动 OpenAI 兼容服务器及终端直接推理。

  15. AIHOT · 精选56

    月之暗面 Kimi K3.1 Pro 上线 OpenRouter，1M 上下文多模态开源权重模型

    OpenRouter 宣布月之暗面的 Kimi K3.1 Pro 上线，定位为基于 Kimi K3 后训练、面向长程编码和智能体任务的 1M 上下文多模态开源权重模型。定价为 $2/M input tokens、$10/M output tokens，可在 OpenRouter 直接试用。

    推荐理由：正文给出了定价、上下文长度和定位说明，想试用长上下文编码与智能体场景的读者可以直接在 OpenRouter 上体验。

  16. Reddit · r/LocalLLaMA41

    SPEV：基于 Qwen3-Omni 的全模态决策模型

    开发者基于 Qwen3-Omni 构建了全模态决策模型 SPEV，直接对原始音频输入输出决策概率，无需经 ASR 转写，避免转写带来的延迟与成本，并支持鸟鸣等非语音任务。它结合 Omni 音频/视频/图像解码器与训练的决策头，支持选择题、真假判断和序数评分，多个问题可在一次多模态前向传播中处理。

  17. Reddit · r/LocalLLaMA41

    Mica v0.5 决策模型实测：4B 比 395M 编码器快 2.2 倍，比同级 4B 模型快约 10 倍

    Mica v0.5 是基于 Qwen3.5-4B + LoRA 的决策模型，单次前向传播输出各选项概率。在 RTX 6000 Ada 上对比，其单次决策中位耗时 11-18 ms，比同为 4B 的 PPLX Decider 1.2 Flash（约 133-157 ms）快约 10 倍，比 395M 参数的 Laya（约 31-33 ms）快约 2 倍；日志狩猎任务中 1.7 秒处理 150 个日志块、捕获 22 处入侵中的 21 处，准确率约 95%。

  19. Reddit · r/LocalLLaMA52

    NVIDIA 发布 Nemotron-3.5-Bolt-E4B-4GB 小模型

    NVIDIA 发布 NVIDIA-Nemotron-3.5-Bolt-E4B-4GB，这是一个从 Gemma-4-E4B-it 进一步后训练的小语言模型，面向本地语音助手、交互式人格和边缘嵌入式场景。模型针对低内存与低 TTFT 优化，改进多轮工具调用、指令遵循和输入 grounding，可商用，另提供 GGUF、BF16 版本和 DFlash 投机解码 drafter。

  20. Reddit · r/LocalLLaMA71

    Baseten 开源 9B 决策模型 elephant-1，Decision Index 得分 65 追平 d1-ultra

    Baseten Base Labs 开源了基于 Qwen3.5-9B 后训练的 9B 决策模型 elephant-1（MIT），不生成文本，而是对 yes/no、多选或有序评分问题直接从选项字母 logits 输出概率。Artificial Analysis 独立评测其 Decision Index 得 65 分，与 d1-ultra 持平，成本约 $8/1M tasks，约为 d1-ultra（约 $31）的四分之一；Jev Decision Index 0.4 得 62.65，为 15B 以下最佳。When2Call 95 分、WildGuardTest 93 分，Omniscience 非幻觉率 93 但准确率仅 12，倾向回答不知道。

    推荐理由：原文给出 Decision Index 得分、成本对比和分项基准数据，还说明了训练数据构成与架构改动来源，便于判断适用场景。

  21. Hugging Face · 新模型：abliterated58

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 无对齐版 NVFP4A16 量化权重

    IstroSec 在 Hugging Face 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 NVFP4A16 量化版，体积从 bf16 的 65.8 GB 降到 22.1 GB，KL 0.0148。作者用 llm-compressor 0.14.0 按 NVIDIA 的 NVFP4 布局量化：专家用 FP4 权重加 bf16 激活，Mamba2 投影用 FP8，注意力保持 bf16，并用 GPTQ 以 ultrachat_200k 前 256 条对话校准。在 DGX Spark 上用 vLLM 0.30.0 实测通过，MTP 投机解码接受率 63%；24 GB 显存较紧张，建议 32 GB 以上。

    推荐理由：作者实测了 vLLM 部署并给出各量化版本与 bf16 的 KL 和拒绝数对比，可据此选择合适的构建。

10月23日周五
  1. Hugging Face · 新模型：abliterated60

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 去对齐版 FP8 量化权重

    IstroSec 在 Hugging Face 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 FP8-DYNAMIC 量化版，体积从 bf16 的 65.8 GB 降到 35.0 GB，KL 0.0134，用 llm-compressor 0.14.0 无校准数据制作。附 NVFP4A16（22.1 GB）和 W4A16（20.5 GB）4-bit 版本，可在 Ampere GPU 上运行。Heretic 评测协议下（关闭思考，100 条有害提示）各版本拒绝数为 20-26/100，差异不显著；原始 ThinkingCap 拒绝 99/100，bf16 去对齐版降至 21/100。

    同一新闻，精选展示《IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 去对齐版 W4A16 量化权重》

  2. Hugging Face · 新模型：abliterated62

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 去对齐版 W4A16 量化权重

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 W4A16 量化版，20.5 GB（bf16 为 65.8 GB），KL 0.0215，用 llm-compressor 0.14.0 以 GPTQ 按 64 分组对称 INT4 量化，激活保持 bf16，面向无 FP4/FP8 支持的 GPU（如 Ampere）。在 DGX Spark 上用 vLLM 0.30.0 测试，4 个温度为 0 的请求均正确且工具调用格式正常；Heretic 评测显示 100 个有害提示拒绝 26 个（bf16 去对齐版为 23），作者称数个拒绝的差异不显著。

    推荐理由：发布方给出了各量化版本相对 bf16 的 KL 散度和拒绝数对比，还注明两次基线运行差异数个拒绝不显著，便于判断精度损失。

  4. Reddit · r/LocalLLaMA35

    用户开源预训练小型 MoE 模型，供社区微调用于特定任务

    一位 Reddit 用户预训练了一个小型 SLM 并开放用于微调：该模型是基于 7.28M backbone 的稀疏 11M MoE（活跃参数 5.52M，top-1 路由、2 专家），在约 5.7B token 上训练，上下文窗口 2048。作者同时开源了整套训练管线，支持 CUDA 并针对 Blackwell 2.0 优化，CPU 完全对等；模型权重与快速上手指南已发布在 Huggingface。

  5. Hugging Face · 新模型：uncensored48

    Solstice-AI 发布 Qwen3.8-27B-TURBO-Fable-Cold-Fusion 的 Apple MLX oQ4e 1M 版本

    Solstice-AI 将 DavidAU 的 Qwen3.8-27B-TURBO-Fable-Cold-Fusion 量化打包为 Apple MLX oQ4e 混合精度版本，内置 1,048,576 token 的 YaRN 上下文扩展，内存占用 17.02 GB，可在 16GB/24GB MacBook 上通过 Anvil 或 MLX-LM 运行。官方称在 Claude Code 评测框架下以 9/9 项基准全胜 Claude Opus 4.6 Max，其中 SWE-bench Pro 61.7% 对 53.4%，ARC-C 735、ARC-E 882。Apple Silicon 上的 MTP 多 token 预测带来 1.72×–2.20× 的加速。

  6. Hugging Face · 新模型：abliterated54

    leonsarmiento 发布 Huihui-Qwen3.6-35B-A3B-abliterated 6bit XL MTP MLX 量化版

    leonsarmiento 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX 量化版，采用 BaseQuant_XL 6/8-bit 混合量化并嫁接 MTP 头，总大小 30.60 GB。MTP 头来自 huihui-ai 在去对齐时原样保留的 19 个源张量，经逐张量校验与 Qwen3.6-35B-A3B 原始 MTP 头字节一致。在 oMLX（M4 Pro 48GB）上 mtp_enabled 开启时草稿接受率 89.1%，吞吐 78.6 tok/s，较关闭时的约 58.5 tok/s 提升 28–34%；MTP 加速仅支持 oMLX，LM Studio 只能加载基座模型。

    推荐理由：作者给出 MTP 草稿接受率、吞吐对比和逐张量离线校验数据，读者可据此判断这个 MLX 移植在速度与精度上的取舍。

  7. Hugging Face · 新模型：abliterated26

    mradermacher 发布 Sage-A1.5-Heretic-Abliterated-Uncensored-i1-GGUF 量化模型

    mradermacher 在 Hugging Face 上提供 Sage-A1.5-Heretic-Abliterated-Uncensored-i1-GGUF 量化模型，支持以 Q2_K 等量化版本运行。该模型可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或直接推理，也可在 Ollama、Docker、LM Studio、Jan 等工具中使用，并给出了 Pi、Hermes Agent、OpenClaw 等智能体的具体配置方法。

  8. Hugging Face · 新模型：uncensored25

    mradermacher 发布 LFM2.5-24B-A2B-uncensored2-i1-GGUF 量化模型

    mradermacher 在 Hugging Face 上提供 LFM2.5-24B-A2B-uncensored2-i1-GGUF 量化模型，示例以 Q2_K 版本运行。该模型可通过 llama.cpp 在 macOS、Linux、Windows 本地启动 OpenAI 兼容服务器或终端推理，并支持 Ollama、Docker Model Runner、LM Studio、Jan、Pi、Lemonade、Hermes Agent、OpenClaw 等工具加载使用。

  9. GitHub · 3D 生成新仓库42

    Pixel Morph：浏览器端实时 2D 与 3D 生成开源项目发布

    开源项目 daniil-777/real-time-web-2D3D-generation 发布 Pixel Morph，两个神经网络加一个 Manifold CAD 内核完全在浏览器本地运行（TensorFlow.js 搭配 WebGPU/WebGL），无需服务器、不上传数据。绘画应用用卷积解码器把 48×48 网格编码转成 384 像素画作；3D 应用用 triplane 变分自编码器生成彩色 SDF，模型菜单可在 objects、architecture、architecture HD 等四个网络间切换。Arch Studio 支持英德法意文字生成古典柱式等建筑构件，可导出 GLB/OBJ/STL，全站为静态文件，可部署到任意静态托管。

  12. Hugging Face · 新模型：uncensored29

    NeoHorse-1-9B-Uncensored GSQ-RCO GGUF 量化版发布，适配 llama.cpp 本地推理

    abenzerps 基于 TokenRhythm/NeoHorse-1-9B 发布 GSQ-RCO 混合精度 GGUF 量化版本，采用 RCO 保留全部 48 个关键 SSM 参数为 BF16，并用 GSQ 按 Hessian 灵敏度校准逐层优化精度。提供 IQ2_XS 到 IQ4_XS 共 5 档文件，推荐 IQ3_M（3.75 bpw、4.20 GB）。配合 4-bit KV cache 可在 8GB 显存的消费级 GPU 上以约 6 GB VRAM 运行 131k 上下文，遵循 Apache-2.0 License。

  14. Hugging Face · 新模型：uncensored39

    Qwen-Image-2.1-Uncensored 量化版本发布：支持 GGUF、Safetensors 与 MLX 格式本地图像生成

    Hugging Face 上发布了 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本，提供 GGUF、Safetensors 和 MLX 格式用于本地图像生成。版本包含 BF16（14.23 GB）至 Q4_K_M（4.60 GB）等多种量化档位，推荐 Q4_K_M 以平衡体积与质量；MLX 格式针对 Apple Silicon 优化，并随附 qwen3vl_8b 文本编码器与 VAE 文件供 ComfyUI 使用。该版本无内置安全检查或内容过滤，可直接生成 NSFW 等敏感图像。

  15. Reddit · r/LocalLLaMA43

    腾讯 WeVisOne-VL-4B 视觉语言模型上线 HuggingFace

    腾讯微信视觉团队推出统一视觉语言模型 WeVisOne-VL-4B，基于 Qwen3-VL 构建。该模型通过结构化 next-token prediction 和 9.6M 参数的轻量 pixel decoder，统一了目标级感知（开放词汇检测、指代定位、计数、指向与 OCR）与像素级感知（指代分割、可提示 alpha matting），已在 HuggingFace 开源。

  16. Reddit · r/LocalLLaMA36

    Qwen3-0.6B 被转换为 MoE 版本

    Reddit 用户 Bayliner1980 将 Qwen3-0.6B 转换为 MoE 架构，发布 bayliner1980/Qwen3-0.6B-MoE-A0.5B 及 GGUF 版本，这是其首个 chat 风格转换。因 Qwen3 无 shared expert，作者采用 pseudo-shared expert 部分恢复质量；评测显示 Wiki ppl 从 23.88 升至 26.98，各质量指标均差于原模型，0.6B 规模下 CPU 生成 124 t/s 略快于 dense 的 115 t/s，GPU 生成则略慢。作者建议只想要小模型就直接用 Qwen3-0.6B。

  18. GitHub · 去对齐工具与仓库27

    Candela：在笔记本上微调的开源金融分析 LLM 项目

    Candela 是一个正在开发中的开源金融分析 LLM 项目，基于 Gemma 4 12B 的 4-bit QAT 权重用 QLoRA 微调，可回答美股相关问题，所有数字均来自带日期和来源的工具调用。项目还包含从零训练、35M 参数起步的 Candela Spark 模型族，由 Go 网关提供服务，并通过终端风格 PWA 和 three.js 3D 视图探索模型内部，采用 Apache-2.0 许可证。