mradermacher 发布 LFM2.5-24B-A2B-abliterated 的 i1-GGUF 量化版本
mradermacher 在 Hugging Face 发布 LFM2.5-24B-A2B-abliterated 的 i1-GGUF 量化模型,提供按大小排序的多种量化版本及 0.2GB 的 imatrix 文件供自行制作量化。静态量化版本另行提供,使用方法可参考 TheBloke 的 README 说明。
新闻、仓库与研究,按时间排列。
mradermacher 在 Hugging Face 发布 LFM2.5-24B-A2B-abliterated 的 i1-GGUF 量化模型,提供按大小排序的多种量化版本及 0.2GB 的 imatrix 文件供自行制作量化。静态量化版本另行提供,使用方法可参考 TheBloke 的 README 说明。
EsteefAi 在 Hugging Face 发布 ttindall 的 Qwen3.8-27B-Defiance-Uncensored-MTP-GGUF 镜像,文件与原版逐字节一致(SHA-256 相同),采用 apache-2.0 许可。镜像旨在保证 Philibert 安装可用,支持通过 Ollama 拉取 IQ4_XS 和 Q6_K_P 两种量化版本。
mradermacher 在 Hugging Face 上发布了 qwen2.5-1.5b-abliterated-argos 的 GGUF 静态量化版本,提供从 Q2_K(0.8GB)到 f16(3.2GB)共 12 种规格,其中 Q4_K_S、Q4_K_M 标注为快速推荐,Q8_0 质量最佳。weighted/imatrix 量化暂未提供,用户可通过 Community Discussion 提出请求。
mradermacher 在 Hugging Face 上发布了 LFM2.5-24B-A2B-abliterated 的 GGUF static quants 量化模型。该模型目前未被任何 Inference Provider 部署,下载量也未被追踪。
mradermacher 在 Hugging Face 上提供 Ministral-3-8B-Reasoning-UNCENSORED-heretic-i1 的 GGUF 量化版本,支持 Q2_K 等量化格式。该模型可通过 llama.cpp、Ollama、Docker Model Runner、Lemonade 等工具以 OpenAI 兼容服务器或命令行方式本地运行,也可接入 Pi、Hermes、OpenClaw 等智能体工具。
Hugging Face 上线 mradermacher 制作的 Ministral-3-8B-Reasoning-UNCENSORED-heretic GGUF 量化版本,该模型为无审查的推理模型。仓库页面显示模型大小约 0.4B 参数、架构为 clip,具体下载量数据暂未提供。
Heisengerg 在 Hugging Face 上发布 MOSS-Image NSFW 去审查 LoRA,基于 OpenMOSS-Team/MOSS-Image-SFT 扩散模型加载使用,提示词触发词为 moss_xvstyle。该权重可用 Diffusers 通过 pipe.load_lora_weights 加载,也可在 Google Colab、Kaggle 及 Draw Things、DiffusionBee 等本地应用中运行。
Hugging Face 用户 Lordking998 发布 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored 量化模型。基准测试显示,Native MXFP4 格式在 32 并发下达 831.66 tokens/second 聚合吞吐,1 并发时为 146.84 tokens/second、首字延迟 p50 为 0.34 秒,整体吞吐高于 EXL3 2.875 和 EXL3 3.5 两种量化格式。模型以 uncensored(无审查)版本形式开源在 Hugging Face。
Hugging Face 上线 Comfy-Org/Fibo-2.0,为 BRIA AI 的 Fibo 2.0 模型提供 ComfyUI 重打包文件,包含 fibo2_dev 与 fibo2_edit_turbo 的 bf16 和 int8_convrot 版本,文本编码器为 qwen3vl_4b,VAE 为 flux2-vae。权重仅限非商业用途,商用需与 BRIA AI 另行协议。
privastudio 在 Hugging Face 上重新分发 huihui-ai 制作的 Huihui-Qwen3.8-27B-abliterated 的 Q4_K GGUF 量化版(约 16.8 GB),打包为可在 PrivaEmanator 中本地加载的格式。该模型基于 Qwen3.8-27B,由 huihui-ai 移除了拒绝回答行为,附带 mmproj-BF16.gguf 视觉投影文件以支持图像输入,采用 Apache-2.0 许可证。
nchapman 在 Hugging Face 发布 Huihui-Qwen3.8-27B-abliterated-W4A16-GPTQ 模型,提供 Transformers、vLLM、SGLang 及 Docker 部署方式,并支持 image-text-to-text 多模态推理。模型可通过 vLLM 或 SGLang 启动服务后以 OpenAI 兼容 API 调用。
Hugging Face 上架了 liueeeeaa/qwen-image-21-uncensored-omni-lora-v01-comfy-fused 模型仓库。该模型目前未部署到任何 Inference Provider,下载量未被统计,README 文件为空,暂无更多模型细节。
KittenML 发布 Kitten-TTS 2 的代码与权重,称其为首个 1.58-bit(三值)TTS 模型,1.7B 参数,仅靠 CPU 即可实时生成。支持少于 5 秒参考音频的 zero-shot 声音克隆、20+ 语言跨语言克隆,以及重音与情感表达控制;代码和权重开源,提供 GitHub 与 Hugging Face 链接,定位为 ElevenLabs 的开源替代。
推荐理由:1.58-bit 三值权重让这个 1.7B TTS 只靠 CPU 就能实时运行,对没有 GPU 的本地部署用户是可查的开源替代选项。
nchapman 在 Hugging Face 发布 Huihui-Qwen3.5-9B-abliterated-W4A16-GPTQ 模型,提供 Transformers、vLLM、SGLang 及 Docker 部署的官方用法示例,支持 image-text-to-text 多模态推理,并可通过 OpenAI 兼容 API 调用。
Reddit 用户 /u/returnity 介绍 Recursive Flint 编码智能体模型,称其为 40B 参数、2.5B 激活的模型,在 TerminalBench 2.1 和 SWE-bench Pro v2 上大幅超越 Qwen3.6-35B-A3B,其余所选基准持平或更好。模型采用 3:1 SWA 与全注意力比例,支持 262k 上下文,已提供 Recursive 博客、WIRED 报道、llama.cpp PR 和 Unsloth GGUFs。作者正在下载,几天后公布实测基准;更新称初步反馈显示 Ornith-1.5 仍是该级别标准,情况不如预期乐观。
Nefarious1313 在 Hugging Face 发布 Huihui-Qwen3.5-4B-abliterated 的 GGUF 静态量化版本,并提供多模态补充文件 mmproj-Q8_0 与 mmproj-f16。量化档位从 Q2_K(1.9GB)到 f16(8.5GB)共 13 种,其中 Q4_K_S(2.7GB)和 Q4_K_M(2.8GB)速度快、被推荐使用,Q8_0(4.6GB)质量最佳。
Recursive 在 Hugging Face 开放其面向编码智能体的 MoE 模型 Flint 权重,总参数 39.8B、每 token 激活约 2.5B,Apache 2.0 许可。官方评测中 Terminal-Bench 2.1 得分 54.9%、SWE-bench Pro v2 为 89.7%、SWE-bench Verified 为 74.2%;仓库含 BF16 checkpoint 和 SGLang 部署套件,支持 262,144 token 上下文与 OpenAI 兼容工具调用,单个 B300 或 H200 GPU 即可运行一个副本。
推荐理由:官方模型卡完整给出架构规格、评测设置和单卡部署方法,读者可以据此判断这个编码智能体模型的实际部署成本。
NVIDIA 发布预训练关系型基础模型 Kumo Relational,直接在企业数据库上做预测,无需任务训练、特征工程或表拼接,单次前向传播即可预测流失、需求、欺诈等结果,权重已开放下载。模型通过 in-context learning 读取最多 10,000 个历史样本,在 15 个数据库的 41 个任务上超过监督式关系深度学习和梯度提升树流水线,在 SAP SALT 企业基准上 MRR 领先 AutoGluon 集成 8%,微调后领先 16%;预训练使用基于 PluRel 方法的合成关系数据。模型可在 RelArena-α 榜单上以约 17 秒/千样本的速度达到 Elo 1,842,比最高分条目快约 430 倍。
推荐理由:原文给出了跨 41 个任务的基准对比和架构细节,可以了解结构化数据基础模型这条路线的实际水平与用法。
Mica v0.5 是一个 4B 决策模型,可跑在单张消费级 GPU 上,在 RTX 6000 Ada 上 256 tokens 决策耗时 19.8 ms,比其他 4B 评测模型快至多 3.8x,比 API 决策模型快 25 到 340x。它在 JevBench Hard 得 84/111,为已知 4B 模型最佳,JDI 得 58.8,超过所有受测 9B 和 35B 模型。提供 INT8、BF16、Q8_0、IQ4_XS 等格式,8 GB 显存即可运行,采用 Apache-2.0 开源。
一位 Reddit r/LocalLLaMA 用户发布了 Swift 1.5 的自产量化版本,对全精度模型应用 Heretic 方法并量化到 IQ4_XS。其 tensor profile 提取自 Qwen 3.8 Flash Next 的 UD-IQ4_XS GGUF,量化所用 imatrix 覆盖数学、代码、英语、通用指令与工具场景。目前仅提供 IQ4_XS 格式,作者接受其他格式的请求。
ily-lab 发布 GLM-5.3-Flash-UNCENSORED 的 R2-40 IQ5_KS 路由专家 GGUF,供 g53 引擎在 1-2 张 RTX 3090 上运行这个 320B 总参 / 18B 激活的 MoE 模型。该模型基于 zai-org/GLM-5.3-Flash(MIT),由 dealignai 制作去对齐版本,移除了安全拒绝;专家文件约 207 GB 分 13 个分片,密集骨干来自 dealignai/GLM-5.3-Flash-UNCENSORED-FP8,相对 BF16 的平均 KL 散度为 0.026-0.036,并附 BF16 视觉投影器 gguf 支持图像输入。专家文件本身也是含全部张量的有效 ik_llama.cpp GGUF。
Hugging Face 上线 wserdf6tgb/openmoss-image-NSFW-uncensored,这是一个基于 OpenMOSS-Team/MOSS-Image-SFT 的 LoRA 权重,用于生成无审查的 NSFW 图像。页面提供了用 Diffusers 加载 LoRA 权重的示例代码,并附 Google Colab、Kaggle、Draw Things、DiffusionBee 等使用入口。
prithivMLmods 在 Hugging Face 发布 Qwen3.8-27B-abliterated-MTP-GGUF 模型,提供 BF16 量化版本。该模型为图像-文本到文本的多模态模型,可在 Transformers、llama.cpp、vLLM、SGLang、Ollama 等多种框架中加载运行,并支持通过 OpenAI 兼容 API 进行本地部署和调用。
Reizxn 在 Hugging Face 发布 abenzerps/Qwen-Image-2.1-Uncensored-Quantized 的逐层混合精度 GGUF 量化版,体积 4.391 GB、4.94 bits/weight,相对权重误差 0.0636。297 个张量独立量化并按最小化重构误差分配格式,组成 Q4_K×126、Q5_K×105、F16×66;实测平均 PSNR 24.25 dB,高于统一 Q4_K 的 22.44 dB,4 个测试主体中 3 个胜出,可用 stable-diffusion.cpp 或 ComfyUI-GGUF 加载,需搭配 Qwen-Image-2.1 VAE 和 Qwen3-VL-8B 文本编码器。注意仅适合 1024 及以上分辨率。
推荐理由:作者给出了逐层混合精度分配方法与逐张渲染的 PSNR 对比数据,读者可以按需判断该 4.39 GB 量化版相对统一 Q4_K 的保真度收益。
mradermacher 在 Hugging Face 发布 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Instruct 的 bf16 GGUF 量化版本(i1)。该模型为去审查(uncensored)指令模型,提供 GGUF 格式便于本地硬件部署。
Tyler Greaux 发布的 Tyler-LLM 是一系列 1.7B–32B 的本地小型模型,经前沿模型知识蒸馏而来,提供 GGUF 与 NVFP4 格式并内置 agent,无需云端、无遥测,采用 Apache-2.0 许可开源。
mradermacher 在 Hugging Face 上架了 gemma-4-E4B-it-The-DECKARD-V2-Strong-HERETIC-UNCENSORED-Thinking 的 bf16 GGUF 量化模型,提供 IQ3_M 等量化格式。页面给出 Transformers、llama.cpp、Ollama、Docker、LM Studio、MLX 等多种本地运行与部署方式,可通过 llama-server 启动 OpenAI 兼容本地服务器。
一位 r/LocalLLaMA 用户在 strata 中部署 Qwen 3.8 Flash Next(IQ4 xs 量化)后表示被其表现折服,称体验接近其去年专业场景使用的模型。他此前常用 3.8 27b(Q6 kv8),认为 Flash Next 虽不完美但已足够胜任大多数任务。
mradermacher 在 Hugging Face 上线 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Thinking-bf16-i1-GGUF 量化模型,提供 Q2_K 等量化格式。该模型可通过 llama.cpp 的 llama serve / llama cli 直接运行,支持 OpenAI 兼容本地服务器,并适配 Ollama、Docker Model Runner、Lemonade、LM Studio 等多种本地工具。
InclusionAI(蚂蚁集团支持)随 Ming-3.0-Audio-Tiny 一同发布了 0.5B 参数的 Ming-3.0-TTS-0.5B 语音合成模型。该模型支持语音克隆、语音设计、7 种语言以及情感与风格控制。
Cheurteen 在 Hugging Face 发布了 Hikari07jp 消融版 Ternary-Bonsai-2 27B 的重打包 GGUF:把三值权重从 2.125-bit 编码重新量化到 Prism 的 1.75-bit PTQ1_0 格式,并将 PrismML 的 MTP 草稿头以 Q4_0 重新量化合并。实测在 RTX 3070 8 GB 上,带草稿头的文件达 69.3 tok/s,无头版本 50.8 tok/s;困惑度 8.2894 优于 2.125-bit 版的 8.4593,MMLU 76.07%、HumanEval pass@1 75.00%,重打包仅改变 0.0943% 的权重、MMLU 差 0.14 点。
推荐理由:作者不仅重打包了消融权重,还给出困惑度、tok/s 和 MMLU 等前后对照数据,可以看清 1.75-bit 格式相对 2.125-bit 的实际收益。
IBM 在 Hugging Face 发布 Granite Speech 5.0 系列:新增 granite-speech-5.0-2b 语音语言模型,并更新 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。2B 版支持六语种转录与翻译、2000 词关键词偏置,英文平均 WER 5.06%,在开源权重 ASR 模型中排名第 2;Turbo CTC 版扩展至七语种并提速约 1.6 倍至 19,870 RTFx;4.1 2B Plus 说话人归因与时间戳更准,长语音 WER 降 24%。三款模型均为 Apache 2.0 许可,支持 Transformers、vLLM、llama.cpp 等。
推荐理由:官方给出各模型在 Open ASR Leaderboard 上的 WER、RTFx 和说话人归因误差对比数据,读者可据此挑选适合的语音模型。
inclusionAI 的 Ling3-Tiny-UBTree-B16 是为 Ling-3.0-tiny 配套的 UBTree 推测解码草稿模型,采用五层 DFlash 骨干,结合可学习的 bigram 选择器,为目标模型验证提出多个候选延续。同期还发布了 Ling-3.0-flash-UBTree。
SOMEHOTMEAL 发布的 LFM2.5-24B-A2B-abliterated 模型已上线 Hugging Face,参数规模 24B,提供 Safetensors 格式及 F32、BF16 张量类型。该模型暂无模型卡,也未部署到任何 Inference Provider,目前无下载数据。
Hugging Face 上架模型仓库 dsfsfdff/Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated-IQ3_S-GGUF,提供 IQ3_S 量化版本。文档给出通过 llama.cpp、vLLM、Ollama、Docker 等工具运行该模型的具体命令,可启动 OpenAI 兼容 API 的本地服务器或在终端直接推理。
NVIDIA 发布 Kumo Forecast(前身为 NV-Tesseract Forecasting),一个多变量时间序列预测模型,基于 MOMENT-1-large 约 340M 参数编码器加可训练预测头。其 DARR 模式通过 k-nearest-neighbor 检索历史模式并与直接预测融合,并提供滞后与特征归因等可解释性输出。模型以 Apache 2.0 许可开源,支持 256 至 2048 的输入序列长度。
Hugging Face 上架了 Moss-image-nsfw-uncensored-lora,一个用于图像生成的 NSFW 去审查 LoRA 权重模型。页面提供了基于 Diffusers 库的加载与推理示例代码,需配合基座模型使用,并支持 Google Colab、Kaggle 等笔记本环境和 Draw Things 等本地应用。
mradermacher 在 Hugging Face 上架 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Instruct-bf16-GGUF 量化模型,提供 Q4_K_S 等量化版本。该模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具本地运行,支持启动 OpenAI 兼容服务器或在终端直接推理。
论文《Let It Be Simple: One-Step Action Generation for Vision-Language-Action Models》发布代码与权重,方法只需把训练时间步分布偏向噪声端点 t' = α·t / (1 + (α−1)·t),无需蒸馏、新目标函数或新架构即可训练一步 VLA 策略。论文认为该效应是结构性的:丰富观测 tightly 约束紧凑动作目标,使不可约速度损失在噪声端点坍缩,而非像图像生成那样形成 U 形。
推荐理由:论文给出把训练时间步分布偏向噪声端点即可训练一步 VLA 策略的方法,并附开源代码、配置和 LIBERO 成功率数据,可复现验证。
mradermacher 在 Hugging Face 上架 gemma-4-E4B-it-The-DECKARD-V2-Strong-HERETIC-UNCENSORED-Thinking 的 bf16 GGUF 量化模型,提供 Q4_K_S 等量化格式。该模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Jan 等工具本地运行,支持启动 OpenAI 兼容服务器或在终端直接推理,也可接入 Pi、Hermes、OpenClaw 等 Agent 工具。