跳到正文
今天10月26日周一1 条
  1. Hugging Face · 新模型:abliterated26

    Qwen2.5-7B-Instruct-abliterated-64k 发布:元数据修复版 GGUF

    R0U5 在 Hugging Face 发布 Qwen2.5-7B-Instruct-abliterated-64k,这是基于 huihui-ai 消融模型与 mradermacher GGUF 量化的元数据修复版,非新增消融。仓库将 context_length 重新声明为 65536 并添加 YaRN rope scaling 元数据(factor 2.0),以满足 Hermes Agent 64,000 token 最低上下文要求,权重与上游量化逐位一致。经 llama.cpp 验证 12 个拒绝测试提示 0 拒绝,Q4_K_M 版本 4.68 GB。

10月25日周日
  1. Hugging Face · 新模型:uncensored35

    Spark-X2.6-4B-Uncensored GSQ-RCO GGUF 量化版发布

    abenzerps 发布 XHToken/Spark-X2.6-4B 的混合精度 GSQ-RCO GGUF 量化版,面向 llama.cpp 本地推理。RCO 将 36 个 sigmoid 注意力门控和 9 个全局注意力投影保留为 BF16,GSQ 依 Hessian 灵敏度校准优化每层精度,推荐 IQ3_M(2.28 GB)。4-bit KV cache 下 131k 上下文约需 3.5–4 GB 显存,支持 llama.cpp 与 Ollama,采用 Apache-2.0 许可。

10月24日周六
  1. Hugging Face · 新模型:uncensored42

    GLM-5.3-Flash 去审查版 GGUF 量化发布(MayaN-L)

    Adolphsson 在 Hugging Face 发布 GLM-5.3-Flash 去审查版的 GGUF 量化,基于 dealignai 的 CRACK abliteration FP8 checkpoint,采用 IQ4-Maya 配方量化,支持 1M tokens 上下文与视觉(mmproj F16),保留 MTP 草稿块可用于投机解码。全量约 156.3 GB,分 4 个分片,MIT 许可;在单张 RTX 5090 上 1M 上下文实测 28.5 tok/s,仅通过功能验证,尚未跑 MMLU 等 benchmark。

10月23日周五
  1. Hugging Face · 新模型:uncensored29

    NeoHorse-1-9B-Uncensored GSQ-RCO GGUF 量化版发布,适配 llama.cpp 本地推理

    abenzerps 基于 TokenRhythm/NeoHorse-1-9B 发布 GSQ-RCO 混合精度 GGUF 量化版本,采用 RCO 保留全部 48 个关键 SSM 参数为 BF16,并用 GSQ 按 Hessian 灵敏度校准逐层优化精度。提供 IQ2_XS 到 IQ4_XS 共 5 档文件,推荐 IQ3_M(3.75 bpw、4.20 GB)。配合 4-bit KV cache 可在 8GB 显存的消费级 GPU 上以约 6 GB VRAM 运行 131k 上下文,遵循 Apache-2.0 License。

10月22日周四
  1. Reddit · r/LocalLLaMA49

    Carbon-X:最佳开源 DNA 语言模型,可在本地用 llama.cpp 运行

    团队发布开源 DNA 语言模型 Carbon-X,基于 Qwen3 14B 在 DNA 与自然语言混合语料上 midtraining 训练,在五个 DNA benchmark 上超过所测全部开源模型,并媲美 GPT-6.1 Sol,成本约低 1,000x。模型已提供 GGUF 版本,可经 llama.cpp 本地运行,支持用自然语言分析 DNA 序列、预测突变影响和生成新 DNA。

10月21日周三
  1. Hugging Face · 新模型:uncensored20

    mradermacher 发布 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Thinking 的 bf16-i1 GGUF 量化版本

    mradermacher 在 Hugging Face 上线 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Thinking-bf16-i1-GGUF 量化模型,提供 Q2_K 等量化格式。该模型可通过 llama.cpp 的 llama serve / llama cli 直接运行,支持 OpenAI 兼容本地服务器,并适配 Ollama、Docker Model Runner、Lemonade、LM Studio 等多种本地工具。

  2. Hugging Face · 新模型:abliterated54

    Ternary-Bonsai-2-27B 无对齐 GGUF 发布,MTP 头重量化后可跑进 8GB 显存

    作者发布 Ternary-Bonsai-2-27B-Abliterated-PQ2_0-MTP-Q4_0-GGUF,在 Hikari07jp 的 abliterated 构建基础上把 MTP 草稿头从 Q8_0(430.41 MiB)重量化为 Q4_0(227.91 MiB),使组合能在 8GB 显卡上运行,实测 RTX 3070 上 45.7 tok/s、7 724 MiB 显存。主干与 abliterated 构建逐位一致,仅 blk.64.* 不同;因 MTP 头只是草稿、输出由主模型验证,困惑度 8.4593 与无头版本 8.4557 在测量误差内,200 个贪心 token 零分歧。

    推荐理由:作者给出逐字节校验和 RTX 3070 8GB 实测数据,说明把 MTP 头降到 Q4_0 后为何不损失输出质量。

  3. Hugging Face · 新模型:uncensored43

    MiMo-V2.6-Flash-RL-UNCENSORED 实验性 IQ2 量化 GGUF 发布

    BattleGhost 发布 dealignai/MiMo-V2.6-Flash-RL-UNCENSORED 的实验性 GGUF 量化版本,默认 IQ2_XXS、47 个专家 FFN down 投影用 IQ2_S,4 分片共 91.70 GB,MIT 许可。WikiText-2 测试中相对 MXFP4 参考困惑度升至 6.539(高 37.4%),优于全 IQ2_XXS 版本的 6.886。该版本面向 llama.cpp 本地推理,不新增安全训练或内容审核。

10月20日周二
10月19日周一
  1. Reddit · r/LocalLLaMA42

    Qwen 3.8 27B LoRA「Herbert」玩贪吃蛇:每步决策约 600ms

    Reddit 用户用 Qwen 3.8 27B 的 LoRA 决策模型 Herbert(已合并为 gguf)驱动一个贪吃蛇游戏,模型每步从左转、右转、直行三个选项中决策,单次决策约 600ms。测试经 ssh 隧道连接 5090 + 64GB RAM 服务器,一次运行存活 370 ticks,此前最好成绩超 2200 ticks,经 llama.cpp 以 Q4_K_M 量化、200000 上下文运行。

10月18日周日
10月17日周六
10月16日周五
  1. Hugging Face · 新模型:abliterated24

    Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 韩语校准 3.7bpw GGUF 量化版发布

    donghanasd 在 Hugging Face 发布 Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的韩语校准混合精度 GGUF,约 12.60 GB、3.69 bits per parameter,从上游 BF16 GGUF 直接量化。量化使用 708 个 512 token 块收集的 importance matrix,张量精度分配沿用 Qwen3.8-27B-Ridge-GGUF,保留 tokenizer、chat template 和 MTP tensors,未做韩语额外训练也未验证韩语质量提升。

10月14日周三
  1. Hugging Face · 新模型:abliterated20

    D2ziggy 发布 Qwen2.5-1.5B-Instruct-abliterated 的 Q8_0 GGUF 转换版

    D2ziggy/Qwen2.5-1.5B-Instruct-abliterated 已通过 ggml.ai 的 GGUF-my-repo 转换为 Q8_0 GGUF 格式并上线 Hugging Face,可用 llama.cpp 的 llama-cli 或 llama-server 直接加载运行,服务端示例上下文长度为 2048。模型卡还给出从 GitHub 克隆 llama.cpp、用 LLAMA_CURL=1 编译及 LLAMA_CUDA=1 等 GPU 标志的构建步骤。

10月13日周二
  1. Hugging Face · 新模型:abliterated24

    hotdogs/Ternary-Bonsai-2-27B-Abliterated-Hemmingway-1-MTP 上架 Hugging Face,附 llama.cpp 等多平台使用指南

    hotdogs/Ternary-Bonsai-2-27B-Abliterated-Hemmingway-1-MTP 模型已在 Hugging Face 发布,默认量化版本为 Q2_0。文档给出 llama.cpp 的 macOS、Linux、Windows 安装方式及本地 OpenAI 兼容服务器启动命令,并说明在 Ollama、Docker Model Runner、Pi、Lemonade、Hermes Agent、OpenClaw 等工具中加载该模型的具体配置步骤。

10月12日周一
  1. Hugging Face · 新模型:abliterated26

    Huihui-GLM-5.3-Flash-abliterated-GGUF 上架 Hugging Face

    Hugging Face 上发布了 robertbschuette/Huihui-GLM-5.3-Flash-abliterated-GGUF 模型,基于 GLM-5.3-Flash 的 abliterated 版本,提供 UD-Q4_K_XL 量化格式,支持图像-文本到文本的多模态输入。页面给出了用 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker Model Runner 等工具加载和部署的完整方法,llama.cpp 路线可启动 OpenAI 兼容的本地服务器。

10月11日周日
  1. Reddit · r/LocalLLaMA67

    27B 级三值权重模型登陆 llama.cpp,约 5.9 GB 即可在本地跑推理

    一个 27B 级推理模型以三值权重形式发布 llama.cpp 版本,语言模型约 5.9 GB,比 FP16 小约 9.3 倍,保留 98.2% 的 FP16 智能水平。14 项 thinking 模式基准平均 84.78,明显高于 IQ2_XXS 的 72.59,接近体积大三倍的 UD-Q4_K_XL;Apple M5 Max 笔记本上约 47 tok/s,支持 262K token 上下文,提供 PTQ1_0 和 PQ2_0 两种 GGUF 打包。

  2. Hugging Face · 新模型:uncensored19

    Tree-AI-lab 发布 Qwen2.5-Coder-1.5B-Instruct 无审查 GGUF 版本,面向 Android 本地部署

    Tree-AI-lab 在 Hugging Face 上发布了基于 Qwen2.5-Coder-1.5B-Instruct 的无审查(uncensored) coder GGUF 量化模型。该模型提供 Q4_K_M 量化版本,可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Pi、Hermes Agent 等工具在本地运行,并支持以 OpenAI 兼容服务器方式部署。

10月10日周六
  1. Hugging Face · 新模型:uncensored31

    mradermacher/Pyrz-8B-Instruct-Uncensored-i1-GGUF 发布

    mradermacher 在 Hugging Face 发布 Pyrz-8B-Instruct-Uncensored-i1-GGUF 量化模型,默认提供 Q4_K_S 版本。该模型可通过 llama.cpp 在本地运行,支持启动 OpenAI 兼容服务器或终端推理,也可配合 Ollama、Docker Model Runner、LM Studio 等工具使用,并给出了在 Pi、Hermes、OpenClaw 等工具中的配置方法。

  2. Hugging Face · 趋势模型52

    LiquidAI 发布 LFM2.5-24B-A2B 的 GGUF 量化版本

    LiquidAI 在 Hugging Face 上发布 LFM2.5-24B-A2B 的 GGUF 量化版本,该系列是面向边缘 AI 与端侧部署的混合架构模型。仓库中的 Q4_0 版本是量化感知蒸馏(QAD)checkpoint,训练用于恢复 Q4_0 量化损失的精度;各 GGUF 内置 general.sampling.* 元数据,llama.cpp 默认应用推荐采样参数(--temp 0.1 --top-k 50 --repeat-penalty 1.05)。

    推荐理由:官方说明 Q4_0 版本采用量化感知蒸馏来恢复精度损失,并给出 llama.cpp 的推荐采样参数,便于本地部署复现。

  3. Hugging Face · 新模型:abliterated29

    sathya801 发布 NeuralDaredevil-8B-abliterated Q5_K_M GGUF 量化模型

    sathya801 在 Hugging Face 发布 NeuralDaredevil-8B-abliterated 的 Q5_K_M GGUF 量化版本,使用 llama.cpp 的 ggml.ai GGUF-my-repo 空间从 mlabonne 的原模型转换而来。用户可通过 llama-cli 或 llama-server 直接加载该模型,也可在 Llama.cpp 中自行编译并推理,server 模式示例使用 -c 2048 上下文。模型细节可参考原始模型卡。

10月9日周五
  1. Hugging Face · 新模型:uncensored24

    mradermacher/Gemma-3-Uncensored_v2-merged-GGUF 模型在 Hugging Face 上发布

    mradermacher 在 Hugging Face 上发布 Gemma-3-Uncensored_v2-merged-GGUF 模型,提供 Q4_K_M 量化版本。用户可通过 llama.cpp 在 macOS、Linux、Windows 上以 `llama serve -hf` 启动本地 OpenAI 兼容服务器(含 Web UI),或用 `llama cli` 在终端直接推理。该模型也支持预编译二进制、源码编译和 Docker 运行。

10月8日周四
  1. Hugging Face · 新模型:abliterated18

    John2202 发布 Qwen3-1.7B-abliterated Q4_K_M GGUF 量化版模型

    John2202 在 Hugging Face 发布 Qwen3-1.7B-abliterated 的 Q4_K_M GGUF 量化版本,由 mlabonne/Qwen3-1.7B-abliterated 通过 llama.cpp 转换而来。用户可通过 llama-cli 或 llama-server 命令直接加载使用,服务器模式默认 -c 2048 上下文。模型也可在 llama.cpp 仓库中按源码编译方式(支持 LLAMA_CUDA 等 GPU 加速编译选项)直接调用。

10月7日周三
  1. Hugging Face · 新模型:uncensored18

    mradermacher/qwen3.5-9b-uncensored-i1-GGUF 模型在 Hugging Face 发布

    mradermacher 在 Hugging Face 发布 qwen3.5-9b-uncensored 的 i1-GGUF 量化版本。该模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio 等工具本地运行,示例采用 Q4_K_S 量化,支持启动 OpenAI 兼容本地服务器或终端直接推理,也可接入 Pi、Hermes、OpenClaw 等 Agent 工具。

  2. Hugging Face · 新模型:abliterated42

    Huihui-Qwen3.8-27B-Abliterated VAL-APEX-I NanoPlus GGUF 量化版本发布

    Huihui-ai 的 Huihui-Qwen3.8-27B-abliterated 模型推出 VAL-APEX-I NanoPlus 量化版,体积仅 11.90 GB(2.85 BPW),可在 16GB GPU 上运行,并支持 24GB GPU 跑满 256K 上下文。WikiText-2 困惑度为 6.4238,较 BF16 基线仅升 7.06%,达到 Q4_K_M 质量档。全部 192 个 DeltaNet SSM 循环状态张量保持 F32 无压缩,输出头采用 Q6_K 保障语法稳定性。

10月6日周二
10月5日周一
  1. Hugging Face · 新模型:abliterated69

    shefowl 发布 Qwen3.8-Flash-Next 混合精度 GGUF 量化版

    shefowl 发布了 Qwen3.8-Flash-Next 的混合精度 GGUF,非专家张量取自 SC117 的 IQ3_XXS 档、路由专家张量取自 Q2_0 档,逐字节复制未重新量化,权重为上游已去拒绝的 abliterated 版本。

    推荐理由:作者给出了与 IQ3_XXS 和 Q2_0 档在困惑度、解码速度和内存占用上的实测对比,可据此权衡这套混合量化的取舍。