跳到正文
10月10日周六
  1. Hugging Face · 趋势模型59

    Datalab 发布 Indra OCR:1M 参数 OCR 模型 CPU 上每秒读 49 页

    Datalab 在 Hugging Face 开源 Indra OCR,主识别器约 1M 参数、模型仅约 18 MB,CPU 上吞吐 49 页/秒,单页延迟约 230 ms,比 Tesseract 和 PaddleOCR 快 11-17 倍。OmniParseBench headline 62.1 分,开启 --math 后升至 66.8,超过 PaddleOCR PP-StructureV3 的 58.4。支持输出 markdown、纯文本和带边界框的 JSON,代码 Apache 2.0,权重用修改版 OpenRAIL-M 许可,2000 万美元以下融资/营收的初创可免费商用;官方也列明复杂表格、手写和退化扫描等局限。

    推荐理由:官方给出了与 Tesseract 和 PaddleOCR 同机同页的延迟、吞吐和 OmniParseBench 对比,还写明了复杂表格、手写等不适场景。

  2. Hugging Face · 新模型:abliterated25

    Huihui-GLM-5.3-Flash-abliterated-GGUF 上架 Hugging Face

    Dgvdhb 在 Hugging Face 发布 Huihui-GLM-5.3-Flash-abliterated-GGUF 模型,提供 UD-Q4_K_XL 量化版本,支持 image-text-to-text 多模态输入。该模型可通过 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker、LM Studio 等多种方式部署,llama.cpp 与 vLLM、SGLang 均提供 OpenAI 兼容 API。

  3. Hugging Face · 新模型:abliterated57

    swdq 发布 Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX 4-bit 量化版

    swdq 在 Hugging Face 放出 huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX affine 4-bit 权重,并把检查点自带的 MTP 头量化为 mtp-4bit.safetensors,供 TensorFold 的 Qwen3.6 MoE CUDA 家族使用。在一台 NVIDIA DGX Spark(GB10)上用 TensorFold 0.6.6、--mtp-drafts 2 --prefill-f8 实测,8k tokens 预填充 5,700–7,200 tok/s、解码 98–128 tok/s;相比之下 BF16 检查点在 vLLM 0.29 加 FP8 在线量化加 MTP 2 下解码约 53/69 tok/s。

    推荐理由:原文给出了完整的量化方法、实测吞吐数据和复现命令,读者可以直接拿来在单机上部署这个 4-bit 版本。

  4. Hugging Face · 趋势模型42

    vllm-sr/d3:Decision 3.0 的 27B 多模态决策模型发布

    vLLM Semantic Router 发布 27B 多模态基础决策模型 d3(Decision 3.0),参数 26.09B(含 0.46B 视觉编码器),一次调用回答 Choice、Yes/No、Score 类问题并返回每个选项的概率,不生成文本。Jev Decision Index 0.3.2 达 66.3 居官方文本榜第一,比 Decision 2.0 的 55.9 高 10.4;文本请求中位延迟 54.4 ms,Apache-2.0 开源,可用 vLLM Semantic Router 部署。

  5. Reddit · r/LocalLLaMA27

    开源物理决策模型 Vega:800M 参数、73k 上下文、支持图像

    Laya 开发者开源了名为 Vega 的 physics-based typed decision model,参数量 800M(另有 4B 版本),支持 73k token 上下文和图像输入,单次推理在多项 JEV benchmark 上超越前者。模型采用引擎加适配器实现的 Test-Time Training 架构,将观测、问题与候选结果投影为向量,用「能量球落入山谷」的方式选出答案。博客、GitHub 和 HuggingFace 模型卡与 Space 均已发布。

  6. Hugging Face · 新模型:uncensored63

    gemma-4-31B-it-uncensored-heretic 的 EXL3 4-bit 量化发布,24 GB 单卡跑 194K 上下文

    sjoe1244 发布了 llmfan46 的 gemma-4-31B-it-uncensored-heretic 的 ExLlamaV3 4.00bpw-h4-vb4 量化版,权重、head、视觉塔和 KV cache 均为 4-bit,在单张 RTX 4090 上实现约 194K token 上下文池(视觉开启),写入速度 45 tok/s(32K prompt 时 41.9 tok/s)。量化 KL mean 0.0262 与 4.00bpw-h6 相同,困惑度 16.687(BF16 源为 16.586);仅支持 TabbyAPI 或 ExLlamaV3,Apache 2.0 许可,去对齐工作出自 llmfan46。

    推荐理由:原文给出了完整的 KL、困惑度、VRAM 和速度实测数据,读者可以据此判断这个 4-bit 量化在一卡上换取超长上下文的代价。

  7. Hugging Face · 新模型:uncensored31

    mradermacher/Pyrz-8B-Instruct-Uncensored-i1-GGUF 发布

    mradermacher 在 Hugging Face 发布 Pyrz-8B-Instruct-Uncensored-i1-GGUF 量化模型,默认提供 Q4_K_S 版本。该模型可通过 llama.cpp 在本地运行,支持启动 OpenAI 兼容服务器或终端推理,也可配合 Ollama、Docker Model Runner、LM Studio 等工具使用,并给出了在 Pi、Hermes、OpenClaw 等工具中的配置方法。

  8. Reddit · r/LocalLLaMA49

    webAI 发布基于 Granite 4.2 3B 的 3.66B 形式逻辑模型 TwIL LM3 Pro

    webAI 于 9 月 30 日发布 TwIL LM3 Pro,这是一个基于 IBM Granite 4.2 3B 的 3.66B 模型,专门针对形式逻辑任务微调,其逻辑综合分达 55.4,优于 Granite 基座的 43.1,并以不到一半的参数量追平 Qwen3-8B 的 53.4。训练采用 LoRA SFT、checkpoint merging 和针对程序化验证器的 RL。Q4_K_M GGUF 仅 2.09 GiB,可在 CPU 或 4 GB VRAM 上运行,支持 Ollama、LM Studio 和 llama.cpp,但许可证为非商业用途。

  9. Hugging Face · 新模型:uncensored65

    GospodinAizen 发布 GLM-5.3-UNCENSORED 的 EXL3 3.0bpw 量化版

    GospodinAizen 在 Hugging Face 发布 GLM-5.3-UNCENSORED-EXL3-3.0bpw,是对 dealignai/GLM-5.3-UNCENSORED-FP8 的 EXL3 量化,后者为 zai-org/GLM-5.3 的权重编辑去对齐版本(非微调),编辑记录见 CRACK_SURFERY.。模型为 GlmMoeDsaForCausalLM,753B 总参数、256 路由专家(激活 8 个)加 1 个共享专家,平均码率 3.04 bpw,体积 273 GiB,含可用作投机草稿的 MTP 层;与 FP8 源对比困惑度 3.440 对 3.302。tau2-bench 上 airline 差 -0.070、retail 差 -0.022,均不具统计显著性。

  10. Hugging Face · 趋势模型71

    autotrust 发布 GLM5.3-Flash-E192-DGX-Spark 剪枝版,124 GiB 权重可单卡 B200 运行

    autotrust 在 Hugging Face 发布 zai-org/GLM-5.3-Flash 的非官方精简版 GLM5.3-Flash-E192-DGX-Spark,通过 NAS 每层保留 288 个路由专家中的 192 个、专家用 NVFP4 量化,每 token 仍激活 18B 参数,权重 124 GiB 为家族最小,单张 180 GB Blackwell GPU 可跑,双 DGX Spark 各承担约 62 GiB。

    推荐理由:作者用同一套评测跑出 E192/E224/E256 三档在显存、KV 容量和各基准上的差异,便于按硬件选型。

  11. Reddit · r/LocalLLaMA72

    Qwen3.8-27B 无对齐 Heretic 版 UD-IQ4_XS 量化发布,16 GB 显卡开 MTP 达 55-68 tok/s

    Reddit 用户 /u/ZestRocket 基于 llmfan46 的 uncensored Heretic 权重,套用 Unsloth 的 UD 配方自行量化出 12/16/24 GB 三个版本,托管在 Hugging Face(codavidgarcia/Qwen3.8-27B-Uncensored-Heretic-MTP-UD-GGUF)。16 GB 的 UD-IQ4_XS 在 RTX 4080 上开 MTP 实测代码 55 tok/s、散文 50 tok/s(关 MTP 仅 29/29),并以 Q8_0 为基准对比了各量化的 KLD 质量。作者还发现 2 个草稿 token 优于 3 个、显存溢出会让速度骤降(开 Chrome 掉到 0.2 tok/s),并附上配方提取与基准测试脚本。

    同一新闻,精选展示《Qwen3.8-27B-Uncensored-Heretic GGUF 量化发布,为 12/16/24 GB 显卡保留原生 MTP 头》

  12. GitHub · 3D 生成新仓库15

    RiddleForge-GPT 开源:从零训练小型模型生成数学谜题并给出解答

    GitHub 新仓库 RiddleForge-GPT 提供从零训练的完整项目,教一个小型语言模型生成数学谜题并附逐步解答,定位为可部署的课堂或辅导工具。项目包含训练管线、推理感知生成层、多语言界面与可部署 Web 体验,强调谜题数字可验证、难度可调,并支持深浅色模式、可复现的 seed 控制与输出溯源日志。

  13. GitHub · 3D 生成新仓库21

    Stable Diffusion 1.8.0 开源发布:Cognitive Diffusion Engine

    GitHub 上发布 Stable Diffusion 1.8.0(Cognitive Diffusion Engine),采用 tri-bridge 注意力机制同时融合文本嵌入、视觉先验和风格条件向量,并引入基于熵测量的 Adaptive Step Scheduler,自校正 latent decoder 使伪影减少 43%。macOS 的 MPS 后端现达到同等硬件上 CUDA 性能的 92%(1.7.0 为 68%),Linux 上 ROCm 已完全集成,无需单独安装 AMD 驱动。

  14. Reddit · r/LocalLLaMA70

    LlamAmpere 更新:Qwen3.8 27B 在 12GB Ampere 卡上跑 200K ctx + MTP

    /u/Brief-Tap-6616 发布 LlamAmpere 更新,主要面向 12GB Ampere 显卡用户,实测 Qwen3.8 27B 支持 205k-230k ctx(11GB,YaRN 下约 340K),并新增 Staged + Journaled KVaRN 变体,KLD 较论文忠实版和竞争版降低约 40%。

    推荐理由:作者给出了具体 KLD 数字、ctx 长度和多张卡的实测吞吐,12GB 显存用户可以据此评估这套方案是否够用。

  15. Hugging Face · 新模型:uncensored52

    Qwen3.8-27B-Uncensored-Heretic GGUF 量化发布,为 12/16/24 GB 显卡保留原生 MTP 头

    codavidgarcia 发布 Qwen3.8-27B-Uncensored-Heretic 的 UD GGUF 量化,采用 Unsloth 逐张量配方,MTP 头(blk.64)在各档保持 q6_K/q8_0,使模型连同原生 MTP 完整装入 12/16/24 GB 显卡。实测 16 GB UD-IQ4_XS 的 KLD 比可容纳 MTP 的同类量化低 2.4 倍,RTX 4080 上开启 MTP 后代码生成 55 tok/s,约为关闭时的 1.9 倍;拒绝率数据来自 llmfan46 的 Heretic v2(3/100 拒绝),本仓库未复测。

    推荐理由:作者对每档量化都实测了 KLD、top-1 命中率和解码速度,并与同权重其他量化逐项对比,数据可直接用于选型。

  16. Hugging Face · 新模型:uncensored21

    AtomicChat/Qwen-Image-2.1-Turbo-Uncensored-GGUF 上架 Hugging Face

    AtomicChat 发布的 Qwen-Image-2.1-Turbo-Uncensored-GGUF 现已上架 Hugging Face。该模型提供 Q2_K 量化版本,可通过 llama.cpp 一条命令启动本地 OpenAI 兼容服务器并带 Web UI,示例命令为 `llama serve -hf AtomicChat/Qwen-Image-2.1-Turbo-Uncensored-GGUF:Q2_K`。页面同时给出在 Ollama、Docker、LM Studio、Jan、Pi、Lemonade、Hermes Agent、OpenClaw 等工具中的接入方法。

  17. Reddit · r/LocalLLaMA52

    H2O.ai 发布 Apache-2.0 开源模型 H2O-Lightning-4B,登顶 JevBench 开源榜

    H2O.ai 发布开源权重模型 H2O-Lightning-4B(Apache-2.0),面向 decisions API 式推理:输入状态加类型化问题,单次前向返回校准概率,不生成 token。基于 Qwen3.5-4B 微调,JevBench 综合分 72.5,高于 Jev 1.13 的 71.5,为当前开源模型第一;在 H100 上单次决策约 30 ms,可本地部署无按次费用。12B 与 31B 版本即将推出,演示视频与权重见 Hugging Face h2oai/h2o-lightning-4b。

  18. Hugging Face · 新模型:abliterated23

    AtomicChat 发布 Qwen-Image-2.1-Turbo-Abliterated-Uncensored-GGUF 模型

    AtomicChat 在 Hugging Face 上发布 Qwen-Image-2.1-Turbo-Abliterated-Uncensored-GGUF 模型,提供 Q4_K_M 量化版本。文档给出 llama.cpp、Ollama、Docker Model Runner、Lemonade 等多种本地运行方式,包括启动 OpenAI 兼容服务器和终端直接推理的命令,并覆盖 Pi、Hermes Agent、OpenClaw 等工具的配置方法。

  19. Hugging Face · 新模型:uncensored39

    Swift-1.5-Qwen3.8-27B-Uncensored-MTP 的 VAL-APEX-I MiniPlus V3 GGUF 量化版发布

    IsValorum 在 Hugging Face 发布 Swift-1.5-Qwen3.8-27B-Uncensored-MTP 的 VAL-APEX-I MiniPlus V3 GGUF 量化版,文件大小 14.28 GB,whole-file BPW 为 3.93,WikiText-2 PPL 为 6.6669,比 GSQ-RCO IQ3_S 基线降低 5.70%。该模型基于 UkisAI 的 Swift-1.5 推理微调,内置 Multi-Token Prediction 投机解码头(blk.64.*,844M 参数),可在 llama.cpp 中直接加速推理,无需外部 draft 模型;同时保留高精度视觉编码器(mmproj-Q8_0.gguf),并维持法、西、德、中多语言语法完整性。

  20. Hugging Face · 新模型:uncensored29

    Ternary Bonsai 2 27B Uncensored Heretic v2 Compact MLX 2-bit 紧凑版发布

    3hs4n 在 Hugging Face 发布 Ternary Bonsai 2 27B Uncensored Heretic v2 的紧凑版 MLX 权重,将 27 个视觉 MLP expansion 层从 FP16 量化为原生 MLX affine 2-bit/group-128,权重文件从 8.60 GB 降至 8.37 GB,节省约 230 MB(2.68%)。全部 2,057 个语言张量逐字节不变,思考模板与 tool-call 格式保留,上下文上限 262,144 tokens。已在 LM Studio 0.4.26+4 验证通过,但推理质量未经 benchmark,视觉量化为有损。

  21. Hugging Face · 趋势模型52

    LiquidAI 发布 LFM2.5-24B-A2B 的 GGUF 量化版本

    LiquidAI 在 Hugging Face 上发布 LFM2.5-24B-A2B 的 GGUF 量化版本,该系列是面向边缘 AI 与端侧部署的混合架构模型。仓库中的 Q4_0 版本是量化感知蒸馏(QAD)checkpoint,训练用于恢复 Q4_0 量化损失的精度;各 GGUF 内置 general.sampling.* 元数据,llama.cpp 默认应用推荐采样参数(--temp 0.1 --top-k 50 --repeat-penalty 1.05)。

    推荐理由:官方说明 Q4_0 版本采用量化感知蒸馏来恢复精度损失,并给出 llama.cpp 的推荐采样参数,便于本地部署复现。

  22. Hugging Face · 新模型:uncensored29

    ajgazin 发布 Swift-1.5-Qwen3.8-27B-Uncensored 的 NInfer NVFP4 版本

    ajgazin 在 Hugging Face 上发布 Swift-1.5-Qwen3.8-27B-Uncensored 的 NInfer NVFP4 量化版本(swift15_qwen3_8_27b_uncensored_nvfp4.ninfer),面向 Blackwell(sm_120a)NInfer 引擎。文件包含 text、vision、MTP 和 DFlash2 组件,64 层经校准的 NVFP4 MLP,其余为 FP8,单文件约 22.78 GB。在 32 GB GPU 上驻留权重约 18.1 GiB(无投机解码)至 20.5 GiB(DFlash2),支持 --max-context 32768,采用 Swift Open License v1.0 许可。

  23. Hugging Face · 新模型:abliterated29

    sathya801 发布 NeuralDaredevil-8B-abliterated Q5_K_M GGUF 量化模型

    sathya801 在 Hugging Face 发布 NeuralDaredevil-8B-abliterated 的 Q5_K_M GGUF 量化版本,使用 llama.cpp 的 ggml.ai GGUF-my-repo 空间从 mlabonne 的原模型转换而来。用户可通过 llama-cli 或 llama-server 直接加载该模型,也可在 Llama.cpp 中自行编译并推理,server 模式示例使用 -c 2048 上下文。模型细节可参考原始模型卡。

  24. Hugging Face · 新模型:uncensored42

    Ternary Bonsai 2 27B Uncensored Heretic v2 MLX 2-bit 社区转换版上线 Hugging Face

    Hugging Face 上线 Ternary Bonsai 2 27B Uncensored Heretic v2 的社区 MLX 2-bit 转换版,Safetensors 权重约 8.60 GB(含视觉塔),配置上下文上限 262,144 tokens,采用 Apache 2.0 许可。权重来自 Heretic v2 PQ2_0 模型,无损重打包为 affine 2-bit/group-128 存储且未做额外量化或训练。该模型需在 Apple Silicon Mac 上用 mlx-vlm 0.7.2 及支持 prism_hadamard_qwen35 架构的加载器运行,并提供 OpenAI 兼容 API。

10月9日周五
  1. Hugging Face · 新模型:uncensored21

    OpenIntelligenceNet/Granite-4.1-3B-Uncensored-GGUF 上架 Hugging Face

    OpenIntelligenceNet/Granite-4.1-3B-Uncensored-GGUF 模型在 Hugging Face 发布,提供 GGUF 量化版本(如 Q4_K_M)。页面给出通过 llama.cpp、Ollama、Docker Model Runner、Lemonade 等工具本地运行该模型的安装与推理命令,也可接入 Pi、Hermes Agent、OpenClaw 等 Agent,支持启动 OpenAI 兼容的本地服务器。

  2. GitHub · 去对齐工具与仓库19

    rapxz 开源 tang-poetry-llm:从零训练的小型唐诗语言模型

    开发者 rapxz 在 GitHub 开源 tang-poetry-llm,一个从零训练的字元层级 GPT 唐诗语言模型,用 PyTorch 实现,训练数据来自 chinese-poetry 的全唐詩。项目含 data.py、model.py、train.py、generate.py 四个文件,支持 checkpoint 接续训练,给开头即可让模型续写,并可在 Colab T4 GPU 上运行。

  3. Hugging Face · 趋势模型58

    千问发布 Qwen-Image-2.1-Turbo 8 步加速检查点

    千问(Qwen)发布 Qwen-Image-2.1-Turbo,这是 Qwen-Image-2.1 的加速检查点,支持 8 去噪步的文生图与图像编辑。模型沿用 7B 视觉生成架构,可通过 Diffusers 的 QwenImage21Pipeline 直接加载,采样日程随检查点自动加载,默认 CFG=1 并用 prefix KV caching 复用文本和参考图上下文。模型采用 Qwen Research License Agreement 授权。

    推荐理由:官方发布了 8 步加速版文生图与图像编辑权重,采样日程随检查点自动加载,附 Diffusers 用法,适合想在本地跑快速生成的读者。