跳到正文
10月22日周四
  1. Hugging Face · 新模型:abliterated19

    mradermacher 发布 qwen2.5-1.5b-abliterated-argos 的 GGUF 静态量化版本

    mradermacher 在 Hugging Face 上发布了 qwen2.5-1.5b-abliterated-argos 的 GGUF 静态量化版本,提供从 Q2_K(0.8GB)到 f16(3.2GB)共 12 种规格,其中 Q4_K_S、Q4_K_M 标注为快速推荐,Q8_0 质量最佳。weighted/imatrix 量化暂未提供,用户可通过 Community Discussion 提出请求。

  2. Hugging Face · 新模型:uncensored58

    atrezonator 发布 Qwen3.8-27B EfficientThink 无对齐版,附多档量化与拒答率实测

    atrezonator 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的 EfficientThink 无对齐版本,经 SFT 与 SimPO 后训练,拒答评测为 10 类 140 条提示中 4/140(2.9%)。同协议对比显示 SimPO 后 GPQA 升 3.54pp、LCB 升 5pp、MMLU 降 1.80pp;仓库提供 GGUF 六档、NVFP4、INT8-W8A8-QAT、AWQ-W4A16、静态 FP8 等多套量化包及 DFlash2/MTP draft,并附 DGX Spark 与 RTX PRO 6000 上的冻结实测成绩。

    推荐理由:原文给出拒答率 4/140 的实测数据和 SimPO 前后 GPQA/MMLU/LCB 对比,读者可据此判断去对齐与能力保留的实际代价。

  3. Hugging Face · 新模型:uncensored23

    mradermacher 发布 Ministral-3-8B-Reasoning-UNCENSORED-heretic-i1 GGUF 量化版本

    mradermacher 在 Hugging Face 上提供 Ministral-3-8B-Reasoning-UNCENSORED-heretic-i1 的 GGUF 量化版本,支持 Q2_K 等量化格式。该模型可通过 llama.cpp、Ollama、Docker Model Runner、Lemonade 等工具以 OpenAI 兼容服务器或命令行方式本地运行,也可接入 Pi、Hermes、OpenClaw 等智能体工具。

  4. Hugging Face · 新模型:abliterated54

    lilcheaty 发布 RecursiveSI/flint 的 abliterated 去对齐权重版

    lilcheaty 发布了 RecursiveSI/flint 的 abliterated BF16 衍生版本,按 Arditi et al. 2024 的拒绝方向方法从第 20 层估计方向并编辑了 12,131 个张量,采用 Apache 2.0 许可。Q3_K_M 量化版在 20 条保留提示上显式拒绝从 20/20 降到 0/20,20 条编码提示双方均 0 拒绝且 40/40 完成回答,作者提醒该小规模对比不代表通用安全或能力基准。运行需 llama.cpp PR #30928 等补丁,GGUF 转换版在 lilcheaty/flint-abliterated-GGUF。

    推荐理由:作者给出了拒绝方向的估计方法与 20 条保留提示上的拒绝率前后对比,还说明了编辑未覆盖的局限。

  5. GitHub · 去对齐工具与仓库33

    ShreyasK06 的 Tiny Shakespeare GPT:从零训练小规模 GPT 语言模型项目

    一个从随机初始化、无预训练权重开始训练的 GPT 风格语言模型项目,使用约 1MB 的 TinyShakespeare 文本(1,115,394 字符、65 个字符类别),字符级 tokenize,模型 3.24M 参数,上下文窗口 256 字符。经 next-token prediction 预训练,选中的 exp_c_small 配置验证损失 1.4338、测试困惑度 6.19,并通过 React 前端与 Vercel serverless 后端以纯 JavaScript 逐字符流式输出。

  6. Hugging Face · 新模型:abliterated32

    Spark-X2.6-4B-Abliterated GGUF 发布:内置 Sharp-Spark 聊天模板

    cinnybun02 在 Hugging Face 发布 Spark-X2.6-4B-Abliterated 的 Q5_K_M GGUF(2.77 GiB),用 llama.cpp 的 gguf_new_metadata.py 仅改元数据,将 Sharp-Spark v1.0.0 模板内置为 tokenizer.chat_template,权重与源文件逐字节一致。该模型为 XHToken 的 4.1B dense thinking model,经 Heretic 去除 53 个张量中的 refusal 方向;spark2_5 架构下 131k 上下文时 KV cache 量化后约 1.9-2.5 GiB。

  7. Hugging Face · 新模型:uncensored40

    DeepSeek-V4.1-Flash-1017-MXFP4-uncensored 量化模型基准测试数据上线 Hugging Face

    Hugging Face 用户 Lordking998 发布 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored 量化模型。基准测试显示,Native MXFP4 格式在 32 并发下达 831.66 tokens/second 聚合吞吐,1 并发时为 146.84 tokens/second、首字延迟 p50 为 0.34 秒,整体吞吐高于 EXL3 2.875 和 EXL3 3.5 两种量化格式。模型以 uncensored(无审查)版本形式开源在 Hugging Face。

  8. Hugging Face · 趋势模型17

    Fibo-2.0 发布 ComfyUI 重打包版本

    Hugging Face 上线 Comfy-Org/Fibo-2.0,为 BRIA AI 的 Fibo 2.0 模型提供 ComfyUI 重打包文件,包含 fibo2_dev 与 fibo2_edit_turbo 的 bf16 和 int8_convrot 版本,文本编码器为 qwen3vl_4b,VAE 为 flux2-vae。权重仅限非商业用途,商用需与 BRIA AI 另行协议。

  9. Hugging Face · 新模型:abliterated20

    privastudio 发布 Qwen3.8-27B Abliterated GGUF 版本

    privastudio 在 Hugging Face 上重新分发 huihui-ai 制作的 Huihui-Qwen3.8-27B-abliterated 的 Q4_K GGUF 量化版(约 16.8 GB),打包为可在 PrivaEmanator 中本地加载的格式。该模型基于 Qwen3.8-27B,由 huihui-ai 移除了拒绝回答行为,附带 mmproj-BF16.gguf 视觉投影文件以支持图像输入,采用 Apache-2.0 许可证。

  10. Hugging Face · 新模型:uncensored27

    DeepSeek-R1-Distill-Qwen-32B-Uncensored 发布

    Riyan200324200324 基于 DeepSeek-R1-Distill-Qwen-32B 发布去审查版本 DeepSeek-R1-Distill-Qwen-32B-Uncensored,采用 Guilherme34 的 uncensor 数据集与 QLoRA 微调,遵循 MIT 许可。模型需手动设置指定 system prompt 以获得去审查输出,训练使用 2 x RTX 4090(24 GiB),共 4 个 epoch;因完全依从请求,建议自行加对齐层。

  11. Reddit · r/LocalLLaMA60

    KittenML 开源 Kitten-TTS 2:1.58-bit 三值权重 TTS,CPU 实时运行

    KittenML 发布 Kitten-TTS 2 的代码与权重,称其为首个 1.58-bit(三值)TTS 模型,1.7B 参数,仅靠 CPU 即可实时生成。支持少于 5 秒参考音频的 zero-shot 声音克隆、20+ 语言跨语言克隆,以及重音与情感表达控制;代码和权重开源,提供 GitHub 与 Hugging Face 链接,定位为 ElevenLabs 的开源替代。

    推荐理由:1.58-bit 三值权重让这个 1.7B TTS 只靠 CPU 就能实时运行,对没有 GPU 的本地部署用户是可查的开源替代选项。

  12. Reddit · r/LocalLLaMA56

    Recursive Flint 编码智能体模型引热议,基准成绩超越 Qwen3.6-35B-A3B

    Reddit 用户 /u/returnity 介绍 Recursive Flint 编码智能体模型,称其为 40B 参数、2.5B 激活的模型,在 TerminalBench 2.1 和 SWE-bench Pro v2 上大幅超越 Qwen3.6-35B-A3B,其余所选基准持平或更好。模型采用 3:1 SWA 与全注意力比例,支持 262k 上下文,已提供 Recursive 博客、WIRED 报道、llama.cpp PR 和 Unsloth GGUFs。作者正在下载,几天后公布实测基准;更新称初步反馈显示 Ornith-1.5 仍是该级别标准,情况不如预期乐观。

  13. Hugging Face · 新模型:abliterated60

    DevelopingDad 发布 Qwen3.8-Flash-Next-FP4-Local-Abliterated 去对齐权重

    DevelopingDad 在 Hugging Face 发布基于 NVIDIA Qwen3.8-Flash-Next-FP4-Local 的去对齐独立权重,将 trial 117 实验的拒绝方向干预直接烘焙进 checkpoint,无需运行时 adapter。实测显示烘焙版拒绝数为 0/100(开发集)与 3/100(保留集),与原 adapter 的 KL 差异约 0.037 nats;散文解码约慢 12%(34.8 vs 39.4 tok/s),代码速度基本持平,需 B12X vLLM 运行时,serve-spark.sh 支持 262,144-token 上下文与 MTP 投机解码。

    推荐理由:原文给出了拒绝率与 KL 的实测对比和单机性能数据,读者可以据此判断这个去对齐版本的实际代价与效果。

  14. Hugging Face · 趋势模型61

    Recursive 发布开放权重 MoE 编码模型 Flint(39.8B 总参数、约 2.5B 激活)

    Recursive 在 Hugging Face 开放其面向编码智能体的 MoE 模型 Flint 权重,总参数 39.8B、每 token 激活约 2.5B,Apache 2.0 许可。官方评测中 Terminal-Bench 2.1 得分 54.9%、SWE-bench Pro v2 为 89.7%、SWE-bench Verified 为 74.2%;仓库含 BF16 checkpoint 和 SGLang 部署套件,支持 262,144 token 上下文与 OpenAI 兼容工具调用,单个 B300 或 H200 GPU 即可运行一个副本。

    推荐理由:官方模型卡完整给出架构规格、评测设置和单卡部署方法,读者可以据此判断这个编码智能体模型的实际部署成本。

  15. Hugging Face Blog60

    NVIDIA 发布 Kumo Relational 关系型数据基础模型,无需训练即可超越监督学习

    NVIDIA 发布预训练关系型基础模型 Kumo Relational,直接在企业数据库上做预测,无需任务训练、特征工程或表拼接,单次前向传播即可预测流失、需求、欺诈等结果,权重已开放下载。模型通过 in-context learning 读取最多 10,000 个历史样本,在 15 个数据库的 41 个任务上超过监督式关系深度学习和梯度提升树流水线,在 SAP SALT 企业基准上 MRR 领先 AutoGluon 集成 8%,微调后领先 16%;预训练使用基于 PluRel 方法的合成关系数据。模型可在 RelArena-α 榜单上以约 17 秒/千样本的速度达到 Elo 1,842,比最高分条目快约 430 倍。

    推荐理由:原文给出了跨 41 个任务的基准对比和架构细节,可以了解结构化数据基础模型这条路线的实际水平与用法。

  16. Reddit · r/LocalLLaMA50

    Mica v0.5 发布:最快的 4B 决策模型,单次决策仅 19.8 ms

    Mica v0.5 是一个 4B 决策模型,可跑在单张消费级 GPU 上,在 RTX 6000 Ada 上 256 tokens 决策耗时 19.8 ms,比其他 4B 评测模型快至多 3.8x,比 API 决策模型快 25 到 340x。它在 JevBench Hard 得 84/111,为已知 4B 模型最佳,JDI 得 58.8,超过所有受测 9B 和 35B 模型。提供 INT8、BF16、Q8_0、IQ4_XS 等格式,8 GB 显存即可运行,采用 Apache-2.0 开源。

  17. Reddit · r/LocalLLaMA38

    社区自制量化版:Swift 1.5 Qwen 3.8 Flash Next 采用 Heretic 方法压缩至 Unsloth Dynamic IQ4_XS

    一位 Reddit r/LocalLLaMA 用户发布了 Swift 1.5 的自产量化版本,对全精度模型应用 Heretic 方法并量化到 IQ4_XS。其 tensor profile 提取自 Qwen 3.8 Flash Next 的 UD-IQ4_XS GGUF,量化所用 imatrix 覆盖数学、代码、英语、通用指令与工具场景。目前仅提供 IQ4_XS 格式,作者接受其他格式的请求。

  18. Hugging Face · 新模型:uncensored51

    GLM-5.3-Flash-UNCENSORED 路由专家 GGUF 发布,可在 1-2 张 RTX 3090 上运行

    ily-lab 发布 GLM-5.3-Flash-UNCENSORED 的 R2-40 IQ5_KS 路由专家 GGUF,供 g53 引擎在 1-2 张 RTX 3090 上运行这个 320B 总参 / 18B 激活的 MoE 模型。该模型基于 zai-org/GLM-5.3-Flash(MIT),由 dealignai 制作去对齐版本,移除了安全拒绝;专家文件约 207 GB 分 13 个分片,密集骨干来自 dealignai/GLM-5.3-Flash-UNCENSORED-FP8,相对 BF16 的平均 KL 散度为 0.026-0.036,并附 BF16 视觉投影器 gguf 支持图像输入。专家文件本身也是含全部张量的有效 ik_llama.cpp GGUF。

  19. Hugging Face · 新模型:uncensored52

    Qwen-Image-2.1 Uncensored 混合精度 GGUF 量化版发布,4.39 GB 对比 BF16 保真度更优

    Reizxn 在 Hugging Face 发布 abenzerps/Qwen-Image-2.1-Uncensored-Quantized 的逐层混合精度 GGUF 量化版,体积 4.391 GB、4.94 bits/weight,相对权重误差 0.0636。297 个张量独立量化并按最小化重构误差分配格式,组成 Q4_K×126、Q5_K×105、F16×66;实测平均 PSNR 24.25 dB,高于统一 Q4_K 的 22.44 dB,4 个测试主体中 3 个胜出,可用 stable-diffusion.cpp 或 ComfyUI-GGUF 加载,需搭配 Qwen-Image-2.1 VAE 和 Qwen3-VL-8B 文本编码器。注意仅适合 1024 及以上分辨率。

    推荐理由:作者给出了逐层混合精度分配方法与逐张渲染的 PSNR 对比数据,读者可以按需判断该 4.39 GB 量化版相对统一 Q4_K 的保真度收益。

  20. Hugging Face · 新模型:uncensored21

    mradermacher 发布 gemma-4-E4B-it-The-DECKARD-V2-Strong-HERETIC-UNCENSORED-Thinking 的 GGUF 量化版本

    mradermacher 在 Hugging Face 上架了 gemma-4-E4B-it-The-DECKARD-V2-Strong-HERETIC-UNCENSORED-Thinking 的 bf16 GGUF 量化模型,提供 IQ3_M 等量化格式。页面给出 Transformers、llama.cpp、Ollama、Docker、LM Studio、MLX 等多种本地运行与部署方式,可通过 llama-server 启动 OpenAI 兼容本地服务器。

10月21日周三
  1. Hugging Face · 新模型:uncensored20

    mradermacher 发布 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Thinking 的 bf16-i1 GGUF 量化版本

    mradermacher 在 Hugging Face 上线 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Thinking-bf16-i1-GGUF 量化模型,提供 Q2_K 等量化格式。该模型可通过 llama.cpp 的 llama serve / llama cli 直接运行,支持 OpenAI 兼容本地服务器,并适配 Ollama、Docker Model Runner、Lemonade、LM Studio 等多种本地工具。

  2. Hugging Face · 新模型:abliterated68

    Ternary-Bonsai-2 27B 无对齐版重打包为 1.75-bit GGUF 并附 MTP 草稿头发布

    Cheurteen 在 Hugging Face 发布了 Hikari07jp 消融版 Ternary-Bonsai-2 27B 的重打包 GGUF:把三值权重从 2.125-bit 编码重新量化到 Prism 的 1.75-bit PTQ1_0 格式,并将 PrismML 的 MTP 草稿头以 Q4_0 重新量化合并。实测在 RTX 3070 8 GB 上,带草稿头的文件达 69.3 tok/s,无头版本 50.8 tok/s;困惑度 8.2894 优于 2.125-bit 版的 8.4593,MMLU 76.07%、HumanEval pass@1 75.00%,重打包仅改变 0.0943% 的权重、MMLU 差 0.14 点。

    推荐理由:作者不仅重打包了消融权重,还给出困惑度、tok/s 和 MMLU 等前后对照数据,可以看清 1.75-bit 格式相对 2.125-bit 的实际收益。

  3. Hugging Face Blog53

    IBM 发布 Granite Speech 5.0 系列语音模型,含新增 2B 及两款更新版本

    IBM 在 Hugging Face 发布 Granite Speech 5.0 系列:新增 granite-speech-5.0-2b 语音语言模型,并更新 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。2B 版支持六语种转录与翻译、2000 词关键词偏置,英文平均 WER 5.06%,在开源权重 ASR 模型中排名第 2;Turbo CTC 版扩展至七语种并提速约 1.6 倍至 19,870 RTFx;4.1 2B Plus 说话人归因与时间戳更准,长语音 WER 降 24%。三款模型均为 Apache 2.0 许可,支持 Transformers、vLLM、llama.cpp 等。

    推荐理由:官方给出各模型在 Open ASR Leaderboard 上的 WER、RTFx 和说话人归因误差对比数据,读者可据此挑选适合的语音模型。