跳到正文
#开源模型
10月10日周六
  1. GitHub · 3D 生成新仓库15

    RiddleForge-GPT 开源：从零训练小型模型生成数学谜题并给出解答

    GitHub 新仓库 RiddleForge-GPT 提供从零训练的完整项目，教一个小型语言模型生成数学谜题并附逐步解答，定位为可部署的课堂或辅导工具。项目包含训练管线、推理感知生成层、多语言界面与可部署 Web 体验，强调谜题数字可验证、难度可调，并支持深浅色模式、可复现的 seed 控制与输出溯源日志。

  2. GitHub · 3D 生成新仓库21

    Stable Diffusion 1.8.0 开源发布：Cognitive Diffusion Engine

    GitHub 上发布 Stable Diffusion 1.8.0（Cognitive Diffusion Engine），采用 tri-bridge 注意力机制同时融合文本嵌入、视觉先验和风格条件向量，并引入基于熵测量的 Adaptive Step Scheduler，自校正 latent decoder 使伪影减少 43%。macOS 的 MPS 后端现达到同等硬件上 CUDA 性能的 92%（1.7.0 为 68%），Linux 上 ROCm 已完全集成，无需单独安装 AMD 驱动。

  3. Reddit · r/LocalLLaMA70

    LlamAmpere 更新：Qwen3.8 27B 在 12GB Ampere 卡上跑 200K ctx + MTP

    /u/Brief-Tap-6616 发布 LlamAmpere 更新，主要面向 12GB Ampere 显卡用户，实测 Qwen3.8 27B 支持 205k-230k ctx（11GB，YaRN 下约 340K），并新增 Staged + Journaled KVaRN 变体，KLD 较论文忠实版和竞争版降低约 40%。

    推荐理由：作者给出了具体 KLD 数字、ctx 长度和多张卡的实测吞吐，12GB 显存用户可以据此评估这套方案是否够用。

  4. Hugging Face · 新模型：uncensored52

    Qwen3.8-27B-Uncensored-Heretic GGUF 量化发布，为 12/16/24 GB 显卡保留原生 MTP 头

    codavidgarcia 发布 Qwen3.8-27B-Uncensored-Heretic 的 UD GGUF 量化，采用 Unsloth 逐张量配方，MTP 头（blk.64）在各档保持 q6_K/q8_0，使模型连同原生 MTP 完整装入 12/16/24 GB 显卡。实测 16 GB UD-IQ4_XS 的 KLD 比可容纳 MTP 的同类量化低 2.4 倍，RTX 4080 上开启 MTP 后代码生成 55 tok/s，约为关闭时的 1.9 倍；拒绝率数据来自 llmfan46 的 Heretic v2（3/100 拒绝），本仓库未复测。

    推荐理由：作者对每档量化都实测了 KLD、top-1 命中率和解码速度，并与同权重其他量化逐项对比，数据可直接用于选型。

  6. Hugging Face · 新模型：uncensored21

    AtomicChat/Qwen-Image-2.1-Turbo-Uncensored-GGUF 上架 Hugging Face

    AtomicChat 发布的 Qwen-Image-2.1-Turbo-Uncensored-GGUF 现已上架 Hugging Face。该模型提供 Q2_K 量化版本，可通过 llama.cpp 一条命令启动本地 OpenAI 兼容服务器并带 Web UI，示例命令为 `llama serve -hf AtomicChat/Qwen-Image-2.1-Turbo-Uncensored-GGUF:Q2_K`。页面同时给出在 Ollama、Docker、LM Studio、Jan、Pi、Lemonade、Hermes Agent、OpenClaw 等工具中的接入方法。

  7. Reddit · r/LocalLLaMA52

    H2O.ai 发布 Apache-2.0 开源模型 H2O-Lightning-4B，登顶 JevBench 开源榜

    H2O.ai 发布开源权重模型 H2O-Lightning-4B（Apache-2.0），面向 decisions API 式推理：输入状态加类型化问题，单次前向返回校准概率，不生成 token。基于 Qwen3.5-4B 微调，JevBench 综合分 72.5，高于 Jev 1.13 的 71.5，为当前开源模型第一；在 H100 上单次决策约 30 ms，可本地部署无按次费用。12B 与 31B 版本即将推出，演示视频与权重见 Hugging Face h2oai/h2o-lightning-4b。

  8. Hugging Face · 新模型：abliterated76

    Qwen3.8-27B abliterated 版本发布，权重级消融将拒绝率从 99.3% 降至 0%

    rajaykumar12959 在 Hugging Face 发布 Qwen/Qwen3.8-27B 的 abliterated 版本，用 difference-in-means 方向对每个残差写入权重矩阵做正交化，消融直接写入 checkpoint，无 runtime hook 和 LoRA，仅含语言模型部分（bf16，text-only，约需 55 GB 显存）。在 292 个 held-out 有害提示上拒绝率从 99.3% 降至 0%，覆盖全部 12 个类别；代价是 MMLU-Pro 从 65.1% 降至 61.8%（−3.3 pp），harmless 提示上的 KL 散度为 0.086 nats。

    推荐理由：给出了完整的消融方法、逐层扫描和拒绝率前后对比数据，读者可以据此评估这次去对齐的实际代价与副作用。

  10. Hugging Face · 新模型：abliterated23

    AtomicChat 发布 Qwen-Image-2.1-Turbo-Abliterated-Uncensored-GGUF 模型

    AtomicChat 在 Hugging Face 上发布 Qwen-Image-2.1-Turbo-Abliterated-Uncensored-GGUF 模型，提供 Q4_K_M 量化版本。文档给出 llama.cpp、Ollama、Docker Model Runner、Lemonade 等多种本地运行方式，包括启动 OpenAI 兼容服务器和终端直接推理的命令，并覆盖 Pi、Hermes Agent、OpenClaw 等工具的配置方法。

  11. Hugging Face · 新模型：uncensored39

    Swift-1.5-Qwen3.8-27B-Uncensored-MTP 的 VAL-APEX-I MiniPlus V3 GGUF 量化版发布

    IsValorum 在 Hugging Face 发布 Swift-1.5-Qwen3.8-27B-Uncensored-MTP 的 VAL-APEX-I MiniPlus V3 GGUF 量化版，文件大小 14.28 GB，whole-file BPW 为 3.93，WikiText-2 PPL 为 6.6669，比 GSQ-RCO IQ3_S 基线降低 5.70%。该模型基于 UkisAI 的 Swift-1.5 推理微调，内置 Multi-Token Prediction 投机解码头（blk.64.*，844M 参数），可在 llama.cpp 中直接加速推理，无需外部 draft 模型；同时保留高精度视觉编码器（mmproj-Q8_0.gguf），并维持法、西、德、中多语言语法完整性。

  12. Hugging Face · 新模型：uncensored29

    Ternary Bonsai 2 27B Uncensored Heretic v2 Compact MLX 2-bit 紧凑版发布

    3hs4n 在 Hugging Face 发布 Ternary Bonsai 2 27B Uncensored Heretic v2 的紧凑版 MLX 权重，将 27 个视觉 MLP expansion 层从 FP16 量化为原生 MLX affine 2-bit/group-128，权重文件从 8.60 GB 降至 8.37 GB，节省约 230 MB（2.68%）。全部 2,057 个语言张量逐字节不变，思考模板与 tool-call 格式保留，上下文上限 262,144 tokens。已在 LM Studio 0.4.26+4 验证通过，但推理质量未经 benchmark，视觉量化为有损。

  13. Hugging Face · 趋势模型52

    LiquidAI 发布 LFM2.5-24B-A2B 的 GGUF 量化版本

    LiquidAI 在 Hugging Face 上发布 LFM2.5-24B-A2B 的 GGUF 量化版本，该系列是面向边缘 AI 与端侧部署的混合架构模型。仓库中的 Q4_0 版本是量化感知蒸馏（QAD）checkpoint，训练用于恢复 Q4_0 量化损失的精度；各 GGUF 内置 general.sampling.* 元数据，llama.cpp 默认应用推荐采样参数（--temp 0.1 --top-k 50 --repeat-penalty 1.05）。

    推荐理由：官方说明 Q4_0 版本采用量化感知蒸馏来恢复精度损失，并给出 llama.cpp 的推荐采样参数，便于本地部署复现。

  14. Hugging Face · 新模型：uncensored29

    ajgazin 发布 Swift-1.5-Qwen3.8-27B-Uncensored 的 NInfer NVFP4 版本

    ajgazin 在 Hugging Face 上发布 Swift-1.5-Qwen3.8-27B-Uncensored 的 NInfer NVFP4 量化版本（swift15_qwen3_8_27b_uncensored_nvfp4.ninfer），面向 Blackwell（sm_120a）NInfer 引擎。文件包含 text、vision、MTP 和 DFlash2 组件，64 层经校准的 NVFP4 MLP，其余为 FP8，单文件约 22.78 GB。在 32 GB GPU 上驻留权重约 18.1 GiB（无投机解码）至 20.5 GiB（DFlash2），支持 --max-context 32768，采用 Swift Open License v1.0 许可。

  17. Hugging Face · 新模型：abliterated29

    sathya801 发布 NeuralDaredevil-8B-abliterated Q5_K_M GGUF 量化模型

    sathya801 在 Hugging Face 发布 NeuralDaredevil-8B-abliterated 的 Q5_K_M GGUF 量化版本，使用 llama.cpp 的 ggml.ai GGUF-my-repo 空间从 mlabonne 的原模型转换而来。用户可通过 llama-cli 或 llama-server 直接加载该模型，也可在 Llama.cpp 中自行编译并推理，server 模式示例使用 -c 2048 上下文。模型细节可参考原始模型卡。

  18. Hugging Face · 新模型：uncensored42

    Ternary Bonsai 2 27B Uncensored Heretic v2 MLX 2-bit 社区转换版上线 Hugging Face

    Hugging Face 上线 Ternary Bonsai 2 27B Uncensored Heretic v2 的社区 MLX 2-bit 转换版，Safetensors 权重约 8.60 GB（含视觉塔），配置上下文上限 262,144 tokens，采用 Apache 2.0 许可。权重来自 Heretic v2 PQ2_0 模型，无损重打包为 affine 2-bit/group-128 存储且未做额外量化或训练。该模型需在 Apple Silicon Mac 上用 mlx-vlm 0.7.2 及支持 prism_hadamard_qwen35 架构的加载器运行，并提供 OpenAI 兼容 API。

  19. Reddit · r/LocalLLaMA43

    Aplomb 1 登顶 Hugging Face 官方 Typed Decisions 榜单

    5.3B 参数的 Aplomb 1 登顶 Hugging Face 官方 Typed Decisions 概率决策基准，KL from gold 为 0.123，Brier score 为 0.065，均居榜首，低于约为其五倍规模的 27B 第二名模型（KL 低 40%）。模型支持文本、JSON、图像、视频和音频单次输入，上下文达 1M tokens，API 上 1M-token 文档约 3 秒读完，输入价格 $0.02 per 1M tokens 且输出免费。权重已在 Hugging Face 开源。

10月9日周五
  1. Hugging Face · 新模型：uncensored21

    OpenIntelligenceNet/Granite-4.1-3B-Uncensored-GGUF 上架 Hugging Face

    OpenIntelligenceNet/Granite-4.1-3B-Uncensored-GGUF 模型在 Hugging Face 发布，提供 GGUF 量化版本（如 Q4_K_M）。页面给出通过 llama.cpp、Ollama、Docker Model Runner、Lemonade 等工具本地运行该模型的安装与推理命令，也可接入 Pi、Hermes Agent、OpenClaw 等 Agent，支持启动 OpenAI 兼容的本地服务器。

  3. GitHub · 去对齐工具与仓库19

    rapxz 开源 tang-poetry-llm：从零训练的小型唐诗语言模型

    开发者 rapxz 在 GitHub 开源 tang-poetry-llm，一个从零训练的字元层级 GPT 唐诗语言模型，用 PyTorch 实现，训练数据来自 chinese-poetry 的全唐詩。项目含 data.py、model.py、train.py、generate.py 四个文件，支持 checkpoint 接续训练，给开头即可让模型续写，并可在 Colab T4 GPU 上运行。

  4. Hugging Face · 趋势模型58

    千问发布 Qwen-Image-2.1-Turbo 8 步加速检查点

    千问（Qwen）发布 Qwen-Image-2.1-Turbo，这是 Qwen-Image-2.1 的加速检查点，支持 8 去噪步的文生图与图像编辑。模型沿用 7B 视觉生成架构，可通过 Diffusers 的 QwenImage21Pipeline 直接加载，采样日程随检查点自动加载，默认 CFG=1 并用 prefix KV caching 复用文本和参考图上下文。模型采用 Qwen Research License Agreement 授权。

    推荐理由：官方发布了 8 步加速版文生图与图像编辑权重，采样日程随检查点自动加载，附 Diffusers 用法，适合想在本地跑快速生成的读者。

  7. Hugging Face · 新模型：abliterated21

    Qwen2.5-1.5B-Abliterated 上架 Hugging Face：基于权重正交化的教育性 abliteration 演示模型

    jaswanthsanjay88 在 Hugging Face 发布 Qwen2.5-1.5B-Abliterated，一个基于 Qwen2.5-1.5B-Instruct 的教育演示模型，采用 Arditi et al. (2024) 的权重正交化（abliteration）方法。干预作用于第 16 层 residual write projections，校准数据采样自 AdvBench harmful 和 Alpaca cleaned 数据集，用于大学教学中展示对齐模型的行为防护如何映射到 transformer 残差流中的线性子空间。

  8. Hugging Face · 新模型：uncensored37

    Qwen-Image-2.1 Uncensored GGUF 量化版本发布，支持 ComfyUI 本地图像生成

    Hugging Face 用户 robertbschuette 发布了 Qwen-Image-2.1 的 Uncensored GGUF 量化版本，提供从 BF16（14.23 GB）到 Q4_0（4.15 GB）等多种量化文件，推荐 Q4_K_M（4.60 GB）作为体积与质量的最佳平衡。该版本移除内置安全检查与内容过滤，可直接生成 NSFW 等敏感图像。模型可在 ComfyUI 中配合 qwen3vl_8b 文本编码器与 VAE 使用，文本编码器可卸载至系统内存，节省 9–17 GB 显存。

  9. Reddit · r/LocalLLaMA62

    腾讯 Youtu-Parsing-Omni 发布：5B 全模态解析模型，OmniDocBench v1.6 得分 96.96

    腾讯在 Hugging Face 开源 Youtu-Parsing-Omni，一个 5B 全模态解析模型，单次输入文档页、自然图像、图表、流程图、几何图形、音频或音视频，按任务提示词输出统一 JSON 结构，覆盖版面、表格、公式、ASR、OCR、声学事件等感知结果与描述类认知结果。模型在 OmniDocBench v1.6 拿到 96.96 Overall，OmniParsingBench 平均 75.08 为最佳开源权重模型（仅次于 Gemini-3-Pro），并附带 vLLM 插件与推理示例。

    推荐理由：原文给出了 5B 尺寸模型在 OmniDocBench v1.6 和 OmniParsingBench 上的具体分数，可据此评估它的文档与多模态解析水平。

  10. Hugging Face · 新模型：uncensored29

    YK992 发布 Llama-3-8B-Lexi-Uncensored 无审查模型

    基于 Llama-3-8B-Instruct 的无审查模型 Llama-3-8B-Lexi-Uncensored 上线 Hugging Face，遵循 Meta Llama 3 社区许可，允许包括商用在内的用途。该模型对各种请求高度合规，Open LLM Leaderboard 平均分 66.18，其中 HellaSwag 77.88、MMLU 67.68、GSM8k 68.39。作者提醒部署前需自行添加对齐层，并需对生成内容负责。

  12. arXiv · cs.CL28

    Neurograf v1：面向罗马尼亚语的首个端到端语言模型家族

    研究者推出 Neurograf v1，一套从零训练的罗马尼亚语优先端到端语言模型管线，含 635 GB 语料 RoSfera（1.757 亿文档）、80k byte-level BPE 分词器、160M 至 6B 参数的五个 decoder-only 模型（共训练 131 billion tokens）、三个指令微调助手和两个对比训练嵌入模型。在 1,000 题 WWTBM 基准上，Neurograf-6B 在罗马尼亚语语境问题达 69.89% 准确率，Neurograf-3.2B 达 67.38%。该模型家族定位为实验性演示而非生产系统。

  13. Hugging Face · 新模型：abliterated22

    Huihui-GLM-5.3-Flash-abliterated-GGUF 模型在 Hugging Face 上提供多种推理部署方式

    muterornament/Huihui-GLM-5.3-Flash-abliterated-GGUF 现已在 Hugging Face 上提供，是一个图像-文本到文本的 abliterated GGUF 模型，支持 UD-Q4_K_XL 等量化版本。用户可通过 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker、LM Studio 等多种工具运行，llama.cpp 和 vLLM/SGLang 均提供 OpenAI 兼容 API，支持文本与图像输入。

  14. Hugging Face · 新模型：abliterated75

    GLM-5.3 (753B) 权重级去审查版发布，NVFP4 量化附拒绝率与 MMLU 对比

    dealignai 以 CRACK 方法发布 GLM-5.3 (753B, ~18B 激活) 的权重级去审查版本 GLM-5.3-ABLITERATED-NVFP4，宣称不用微调、LoRA 或越狱提示，直接在张量中移除拒绝行为，面向授权渗透测试与安全研究。HarmBench 实测 high/max 模式下 156 条提示 0 拒绝，off 模式拒绝率 7.3%（多为版权类）；MMLU 84.11%，较 base 的 85.58% 降约 1.5pp。模型给出 vLLM 部署命令，NVFP4 版在 GB10 上 KV 池达 35 GiB/rank，可支撑 TP8 下 512K 实用上下文。

    推荐理由：原文给出 HarmBench 拒绝率和 MMLU 前后对比数据，读者可以据此判断这个权重级去对齐版本的实际效果与能力损失。

  15. Hugging Face · 新模型：uncensored57

    GLM-5.3-UNCENSORED 的 EXL3 3.0bpw 量化版发布，含保真度与 Agent 实测数据

    muterornament 发布了 dealignai/GLM-5.3-UNCENSORED-FP8 的 EXL3 3.0bpw 量化版本，上游是 zai-org/GLM-5.3 的权重编辑（无微调）变体，模型为 GlmMoeDsaForCausalLM 架构，总参数 753B，256 个路由专家（激活 8 个）加 1 个共享专家，体积 273 GiB。作者用 wikitext-2 给出量化对 FP8 源的 KL 散度与困惑度对比（困惑度 3.440 对 3.302），并在 tau2-bench 上与 Z.ai FP8 原版对比，airline 和 retail 两域差异均无统计显著性。

  16. Hugging Face · 新模型：uncensored60

    GLM-5.3-UNCENSORED 的 EXL3 3.0bpw 量化版发布

    gopiprakan 发布了 GLM-5.3-UNCENSORED-FP8 的 EXL3 量化版本（平均 3.04 bpw，273 GiB），上游是 dealignai 对 zai-org/GLM-5.3 做权重编辑得到的无微调变体，编辑记录保存在 CRACK_SURVEY. 同目录的 CRACK_SURGERY.。量化版在 wikitext-2 上相对 FP8 源的 KL 散度为 0.089/0.097，perplexity 3.440 对 3.302；tau2-bench 实测中 airline 和 retail 两域与原版 GLM-5.3 FP8 的差异分别为 -0.070 和 -0.022，样本量下不具统计显著性。

  17. Reddit · r/LocalLLaMA57

    Qwen3.5-2B-RCOL 动态低比特量化发布，KLD 显著优于标准 imatrix 量化

    Reddit 用户 /u/jjusko20 发布 Qwen3.5-2B-RCOL 动态低比特量化（IQ1_M、IQ2_M、IQ3_M），基于对 ISTALab RCO 算法的修改，可在严格 VRAM 预算下量化模型，且无需将 FP16 教师模型载入显存。作者称在 1 比特和 2 比特范围看到显著 KLD 改进，并在与标准 llama.cpp imatrix 量化相同 wikitext 校准、双保留集测试下给出 KLD 对比表，IQ1_M 散度大幅下降；GGUF 文件在 https://huggingface.co/trubisky/Qwen3.5-2B-RCOL，后续计划应用于家族更大模型。

  18. Hugging Face · 新模型：abliterated21

    mradermacher 发布 Ostrich-27B-261008-Qwen3.8-Abliterated GGUF 量化版本

    mradermacher 在 Hugging Face 发布 Ostrich-27B-261008-Qwen3.8-Abliterated 的静态 GGUF 量化版本。提供多种量化格式，其中 Q4_K_S 为 15.9 GB、速度快且被推荐，另含 mmproj-Q8_0（0.7 GB）与 mmproj-f16（1.0 GB）多模态补充文件；weighted/imatrix 量化暂未提供，用户可通过 Community Discussion 申请。

  19. GitHub · 去对齐工具与仓库59

    Cactus Compute 发布端侧基础模型 Needle 3，权重开放在 Hugging Face

    Cactus Compute 发布面向手机、可穿戴、机器人、智能家居和微控制器的端侧基础模型 Needle 3，整个模型是单个 8-29 MB 二进制文件，权重和各平台引擎已在 Hugging Face 开放。模型基于 Laddered Simple Attention Network，2 到 20 层每档深度都是可部署模型，在移动端工具调用上以牺牲通用对话能力换取超过 10 倍体积模型的表现，并支持结构化抽取、文本嵌入和同容器的语音转写模型 Whistle（16.9 MB，支持 7 种语言）。提供 needle finetune 本地 LoRA 微调与平台微调两种方式，DroidCall 微调使 4 层以上的子网络在 29M 参数起通过 DeepSeek V4 Flash。

    推荐理由：Cactus 官方开源了面向微型设备的 Needle 3，并给出与 Whisper、DeepSeek 等模型的基准对比和完整微调部署路径，适合本地部署场景参考。

  20. Hugging Face · 新模型：abliterated21

    hotdogs 发布 Ternary-Bonsai-2-27B-Abliterated-swift-cap-pq2_0-gguf GGUF 模型

    hotdogs 在 Hugging Face 上发布 Ternary-Bonsai-2-27B-Abliterated-swift-cap-pq2_0-gguf，提供 Q2_0 量化格式的 GGUF 权重。该模型可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或直接推理，也支持 Docker、Ollama、LM Studio、Jan、Pi、Lemonade、Hermes Agent、OpenClaw 等工具加载运行。

  21. Hugging Face · 新模型：abliterated33

    ThinkingCap-Qwen3.8-27B-abliterated UD-Q4_K_XL GGUF 量化版发布

    groxaxo 在 Hugging Face 发布 ThinkingCap-Qwen3.8-27B-abliterated 的 UD-Q4_K_XL GGUF 量化版，共 866 个张量，直接从 BF16 checkpoint 转换并采用 Unsloth 的张量布局与 imatrix。附带独立 MTP draft、视觉 mmproj 和 chat_template.jinja，支持 llama.cpp 的 --spec-type draft-mtp 投机解码、enable_thinking 以及 low/medium/xhigh 推理力度。模型采用 PolyForm Small Business License 1.0.0，仓库声明不提供新的质量基准。