跳到正文
只看开源模型
10月20日周二
  1. Hugging Face · 趋势模型53

    lodestones 发布 Kromoss：MOSS-Image-Base 的 1024px 全参微调，附 8 步 DMD turbo LoRA

    lodestones 在 Hugging Face 发布 Kromoss，是对 MOSS-Image-Base 的全参微调（1024 px，704k 训练图，发布 EMA 权重），架构与 MOSS-Image-SFT 相同、可直接替换，主要修复 Base 模型的模糊问题。仓库同时提供 8-steps-dmd-lora.safetensors（8 步、CFG 1、无负分支的 DMD 蒸馏 turbo LoRA）、int8 ConvRot 量化单文件（5.4 GB）、ComfyUI 原生支持与转换脚本，权重采用 Apache 2.0 许可。PartiPrompts（100 提示词，CLIP ViT-L/14）显示 Kromoss + LoRA 得分 27.82，高于 MOSS-Image-Base 的 27.19。

    推荐理由：这是官方模型卡，给出了完整采样设置、ComfyUI 与 diffusers 用法以及 PartiPrompts 对比数字，便于直接上手和评估效果。

  3. Hugging Face · 新模型：uncensored74

    DeepSeek-V4.1-Flash GSQ 混合量化无审查版发布，单张 RTX 4090 可跑 552B MoE

    开发者 Indra's Mirror 在 Hugging Face 发布 DeepSeek-V4.1-Flash 的 GSQ 混合量化版（163 GB，152 GiB 专家权重），基于 dealignai 的 abliterated 无拒绝行为检查点，需搭配自研 Xolotl 引擎在 RTX 4090（24 GB）加 90 GB 内存加 NVMe 的单机上运行，512K 上下文。量化采用 ternary/2-bit/3-bit 混合专家格式加 Q8_0 稠密层，总位宽与均匀 2.25-bit 持平，校准代理上输出误差比均匀 Q2_0 低 17%；实测 prefill 约 250 tok/s，DSpark 解码 17-30 tok/s，HumanEval 21/21、工具调用 10/10。

    同一新闻，精选展示《DeepSeek-V4.1-Flash GSQ 混合精度量化版发布，单张 RTX 4090 可跑 552B MoE》

  5. Hugging Face · 新模型：abliterated64

    alesha-pro 发布 Qwen3.8-Flash-Next 去对齐 Strata GGUF 量化包

    alesha-pro 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 abliterated Strata GGUF 量化包，含 S 和 S-small 两种规格，基于 Mirai 的 2-bit trellis 构建，用 huihui-ai 的拒绝方向向量去除拒绝行为。实测 AdvBench 64 条提示中 stock 版拒绝 64 次、加向量后仅 1 次，Alpaca 无害提示基本不受影响。可在 1-2 张 RTX 3090 上运行，S 版解码 82-113 tok/s，支持最高 262144 上下文，需 Linux、CUDA 12.8+ 和约 64 GB 内存。

    推荐理由：作者实测了加拒绝向量前后的拒绝数和各档速度内存数据，读者可以据此判断这个去对齐量化包的实际表现。

  8. Hugging Face · 新模型：abliterated18

    mradermacher 发布 flux-3-image-klein-prompt-upsampler abliterated 版 GGUF 模型

    mradermacher 在 Hugging Face 上发布 flux-3-image-klein-prompt-upsampler 的 abliterated GGUF 版本，提供 F16 量化。该模型可通过 llama.cpp 在本地运行，支持 llama serve 启动 OpenAI 兼容服务器或 llama cli 直接推理，也可用 Ollama、Docker Model Runner、Lemonade 等工具加载。

  11. Hugging Face · 新模型：uncensored32

    mradermacher 发布 Qwen3.5-9B-Claude-3xMerge-UNCENSORED-heretic GGUF 量化模型

    mradermacher 在 Hugging Face 上提供 Qwen3.5-9B-Claude-3xMerge-UNCENSORED-heretic 的 GGUF 量化版本，示例量化为 Q4_K_S。该模型可通过 llama.cpp 在本地运行，支持 llama-server 启动 OpenAI 兼容服务器和 llama-cli 直接推理，也可用 Ollama、Docker Model Runner、Lemonade 等工具加载，并可接入 Pi、Hermes、OpenClaw 等智能体工具。

  12. GitHub · 去对齐工具与仓库47

    GLM-Edge 端侧模型系列开源：含 1.5B/4B 对话与 2B/5B 多模态模型

    GLM-Edge 系列端侧模型发布，包含 GLM-Edge-1.5B-Chat、GLM-Edge-4B-Chat 两款对话模型和 GLM-Edge-V-2B、GLM-Edge-V-5B 两款多模态模型，1.5B/2B 面向手机、车机，4B/5B 面向 PC。在高通骁龙 8 Elite 平台上，1.5B 对话与 2B 多模态模型借助 NPU 和混合量化实现每秒 60 tokens 以上解码，配合投机采样峰值超每秒 100 tokens。模型已在 HuggingFace、ModelScope 等平台提供下载，支持 Transformers、vLLM、OpenVINO 推理。

  14. Hugging Face · 趋势模型69

    Recursive 发布 MoE 编码智能体模型 Flint，unsloth 上线 GGUF 量化版

    Recursive 发布了面向编码智能体的 MoE 语言模型 Flint，总参数 39.8B、每 token 激活约 2.5B，在 Terminal-Bench 2.1 得 54.9%、SWE-bench Pro v2 得 89.7%、SWE-bench Verified 得 74.2%。模型采用 256 路由专家加共享专家、49 层（2 稠密 + 47 MoE）、262,144 token 上下文，以 Apache 2.0 许可发布，附 BF16 检查点、SGLang 服务套件及面向 NVIDIA 和 Apple Silicon 的量化版本，unsloth 提供 GGUF 格式和运行指南。

    推荐理由：官方模型卡给出了架构细节、评测设置和基准分数来源标注，读者可以据此了解这款小激活参数编码智能体模型的实际规格。

  16. Ollama Blog52

    Cloudflare 27B 多模态决策模型 Clef 上线 Ollama，本地与云端均可运行

    Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上线，用户可本地运行或使用 Ollama 云端。该模型从 Qwen3.8-27B 微调而来，以 Apache 2.0 协议开源，支持文本、JSON 与图像输入，可一次读取输入并同时对所有问题的答案打分，兼容 Jev 和 System One API。官方称其登顶 Cloudflare 的 Decision Index，在 Jev benchmark 套件多数项目上超过 Jev，例如 BFCL case exact 98.47 对 95.75；43 个评测的延迟中位数为 209.3ms（Clef-flash 为 38.8ms）。

    推荐理由：官方发布了多模态决策模型 Clef 的完整基准与延迟数据，读者可以直接对比它和 Jev 等模型在各场景的实际表现。

  17. Hugging Face · 新模型：uncensored27

    Qwen3.8-27B-Uncensored-MLX-6-bit 模型发布

    Hugging Face 上发布 bi0h4z4rd88/Qwen3.8-27B-Uncensored-MLX-6-bit，一个基于 Qwen3.8 的 27B 6-bit MLX 量化无审查模型，支持图像输入。页面给出 mlx-vlm 加载与生成示例，并说明可通过 mlx_lm.server 启动本地 OpenAI 兼容服务器，接入 Pi、Hermes Agent 和 OpenClaw 等工具。

  18. GitHub · 去对齐工具与仓库45

    bd4sur/Nano：可部署在树莓派、路由器与浏览器的开源小型语言模型项目

    bd4sur 在 GitHub 开源 Transformer 结构的小型语言模型项目 Nano，主要复刻自 Karpathy 的 nanoGPT，提供 Nano-56M、Nano-168M 等模型及 LoRA 插件。其纯 C 语言推理引擎支持 FP32、Q80、Q4K 量化，可离线部署在树莓派、红米 AX5 路由器、ESP32 单片机集群和浏览器 WASM 中，也适配 Qwen2-0.5B 与 Qwen3-0.6B/1.7B/4B。项目同时支持预训练与监督微调，实测单卡 A100 训练 58M 模型 MFU 约 25%。

  19. Reddit · r/LocalLLaMA49

    migtissera 发布 Tess-4.5-27B：基于 Qwen 的微调模型，token 用量减少 25%

    migtissera（Synthia 作者）发布基于 Qwen 微调的 Tess-4.5-27B，在 150 个 BenchLocal 场景中比基座 Qwen3.8-27B 少生成 25% 的 token 而得分相同。其中 CLI-40 少用 32% token 且得分更高，数据提取少用 43%，BugFind-15 少用 21%。更少 token 意味着更快出答案、上下文窗口占用更少，在本地 GPU 上还可与 draft head 叠加提速。

  20. Hugging Face · 新模型：uncensored47

    NeosQ 发布 Qwen3.8-Flash-Next-Uncensored 的 MTPLX 优化速度量化版

    NeosQ 基于 OrcaRouter 去审查的 Qwen3.8-Flash-Next（125B-A6B MoE）BF16 权重，用 MTPLX Forge 按 flash-next-optimized-speed 配方制作 4-bit 量化版，总大小 115.3 GB，保留原生 MTP 投机解码头。在 M5 Max 128 GB 上 MTP 投机解码达 85.7 tok/s，为普通解码的 2.07 倍；需 Apple Silicon、macOS 14+ 及 96–128 GB 统一内存，支持 OpenAI/Anthropic 兼容 API，采用 Apache 2.0 许可证。

  21. Hugging Face · 新模型：uncensored48

    DeepSeek-V4.1-Flash-1017-MXFP4-uncensored 量化模型基准测试数据发布

    Hugging Face 上发布 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored 的性能测试数据，对比 Native MXFP4、NVFP4 target、EXL3 2.875 与 EXL3 3.5 四种配置在 1-32 并发下的 chat 吞吐与延迟。Native MXFP4 在 32 并发时达 831.66 tokens/second，为各配置中最高；EXL3 3.5 在 32 并发时为 480.84 tokens/second。

  22. Hugging Face · 新模型：uncensored21

    Gravelrat 发布 L3.1-Dark-Reasoning-LewdPlay-evo-Hermes-R1-Uncensored-8B-IQ4_NL-GGUF 量化模型

    Gravelrat 在 Hugging Face 上发布 L3.1-Dark-Reasoning-LewdPlay-evo-Hermes-R1-Uncensored-8B-IQ4_NL-GGUF，为 8B 参数、IQ4_NL 量化的 GGUF 无审查模型。页面给出 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker Model Runner、Lemonade 等多种运行方式，其中 llama.cpp、Ollama、Docker 等可直接以 IQ4_NL 量化版本拉取运行，vLLM 与 SGLang 均支持 OpenAI 兼容 API 调用。

  29. Hugging Face · 新模型：abliterated24

    Huihui-Qwen3.8-27B Swift-1.5 Abliterated IQ3_S + DFlash2 NInfer v3 社区转换版发布

    SPK1337 在 Hugging Face 发布 Huihui-Qwen3.8-27B 的 NInfer v3 社区转换版，打包 abliterated Swift-1.5 GSQ-RCO IQ3_S 文本权重（含 MTP）、z-lab 的 DFlash2 draft adapter 和 Qwen3.8-27B vision projector，文件约 13.99 GiB，采用 Apache-2.0 许可。该 artifact 仅供 NInfer-all 运行时加载，不能通过 transformers.AutoModel 直接读取；本地验证 HTTP 端点可正常返回文本，但 DFlash2 接受率、tokens/second 等尚未 benchmark。

  32. Reddit · r/LocalLLaMA68

    Space Bunny 确认为 MiniMax M3.1 Flash，428B-A23B 权重周四放出

    曾在 OpenRouter 榜首停留 10 天、10 月 5 日消失的匿名模型 Space Bunny 确认为 MiniMax M3.1 Flash，API 已上线，权重定于 10 月 23 日放出。参数为 428B 总量 / 23B 激活，1M 上下文，支持文本、图像和视频输入，API 价格 $0.15 输入 / $0.60 输出；官方称在 automation-bench 上超过 Opus 5，在 deepswe 上与 DeepSeek V4.1 Flash 大致持平，terminal bench 上则明显落后（38.1 对 51.8），这些均为 MiniMax 自测数据。作者估算 Q4 量化约 230-250GB，适合 256GB Mac Studio 本地部署。

    推荐理由：作者把匿名模型与正式发布对上号，并提醒榜单数字全部来自 MiniMax 自测，读者可据此校准预期。

  33. Reddit · r/LocalLLaMA47

    MiniMax M3.1 Flash 发布：Space Bunny 为其早期版本，权重 10 月 23 日放出

    MiniMax 发布 M3.1 Flash，并确认 9 月底出现在 OpenRouter 的隐身模型 Space Bunny 是其早期版本。官方称成本为 M3 的 1/3、速度 3 倍，benchmark 成绩为 Automation-Bench 62%、ALE 30%、DeepSWE 74%、BabyVision 91%。API 定价 $0.15/1M 输入、$0.60/1M 输出、$0.015/1M 缓存读取，支持 1M token 上下文窗口和可配置思考强度，权重定于 10 月 23 日发布，参数量未公布。

  35. Hugging Face · 新模型：uncensored36

    Qwen-Image-2.1 Uncensored 量化版发布，提供 GGUF/Safetensors/MLX 多格式本地部署

    Hugging Face 上发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本，提供 GGUF、Safetensors 和 MLX 格式，用于本地图像生成，Q4_K_M（4.60 GB）为推荐的 GGUF 量化档位。该版本无内置安全检查器，可直接生成成人及 NSFW 内容，需配合 ComfyUI 与 ComfyUI-GGUF 使用，文本编码器 qwen3vl_8b 可卸载至系统内存以节省 9–17 GB 显存。

10月19日周一
  1. Reddit · r/LocalLLaMA54

    inclusionAI 发布原生音频语言模型 Ming-3.0-audio-flash

    inclusionAI 发布原生音频语言模型 Ming-3.0-audio-flash，为 MoE 架构，总参数 126B、每次推理激活 6.5B，采用 MIT 许可。模型接受音频加文本指令输入，支持语音识别、口语问答、音频理解与音频推理，可输出文本或可选合成语音，覆盖中英文及方言口音，另有 Flash 和 Tiny 两个版本。

  2. Reddit · r/LocalLLaMA45

    inclusionAI 开源音频语言模型 Ming-3.0-audio-tiny 登陆 Hugging Face

    inclusionAI 在 Hugging Face 发布紧凑型原生音频语言模型 Ming-3.0-audio-tiny，采用 MoE 架构，总参数 9.3B、每次推理激活 2.7B。模型接受音频与文本指令输入，支持中英文语音识别、口语问答、音频理解与音频推理，可选合成语音回复，支持长音频、多说话人和嘈杂环境，采用 MIT 许可证开源。

  3. Reddit · r/LocalLLaMA54

    inclusionAI 发布 Ming-3.0-audio-flash：126B MoE 音频理解与语音输出模型，MIT 协议

    inclusionAI 在 Hugging Face 上发布 Ming-3.0-audio-flash，总参数 126B、激活 6.5B 的 MoE 模型，可接收音频加文本指令并返回文本或语音回复，MIT 协议。模型卡列出转写、口语问答、长录音理解及对语音、环境声和音乐的推理能力，中英文为主并声称支持口音、方言和嘈杂录音；语音输出依赖可选的 Talker，可用内置音色或参考音频。本地部署文档给出 Transformers、SGLang 和 vLLM-Omni 路径，其中 SGLang 文本输出验证配置用四张 GPU，vLLM-Omni 128K 参考配置用八张 80GB H800，均为参考配置而非最低要求。

  5. Reddit · r/LocalLLaMA42

    Qwen 3.8 27B LoRA「Herbert」玩贪吃蛇：每步决策约 600ms

    Reddit 用户用 Qwen 3.8 27B 的 LoRA 决策模型 Herbert（已合并为 gguf）驱动一个贪吃蛇游戏，模型每步从左转、右转、直行三个选项中决策，单次决策约 600ms。测试经 ssh 隧道连接 5090 + 64GB RAM 服务器，一次运行存活 370 ticks，此前最好成绩超 2200 ticks，经 llama.cpp 以 Q4_K_M 量化、200000 上下文运行。