跳到正文
  1. Hugging Face · 新模型:abliterated54

    Ternary-Bonsai-2-27B 无对齐 GGUF 发布,MTP 头重量化后可跑进 8GB 显存

    作者发布 Ternary-Bonsai-2-27B-Abliterated-PQ2_0-MTP-Q4_0-GGUF,在 Hikari07jp 的 abliterated 构建基础上把 MTP 草稿头从 Q8_0(430.41 MiB)重量化为 Q4_0(227.91 MiB),使组合能在 8GB 显卡上运行,实测 RTX 3070 上 45.7 tok/s、7 724 MiB 显存。主干与 abliterated 构建逐位一致,仅 blk.64.* 不同;因 MTP 头只是草稿、输出由主模型验证,困惑度 8.4593 与无头版本 8.4557 在测量误差内,200 个贪心 token 零分歧。

    推荐理由:作者给出逐字节校验和 RTX 3070 8GB 实测数据,说明把 MTP 头降到 Q4_0 后为何不损失输出质量。

  1. Hugging Face · 趋势模型52

    LiquidAI 发布 LFM2.5-24B-A2B 的 GGUF 量化版本

    LiquidAI 在 Hugging Face 上发布 LFM2.5-24B-A2B 的 GGUF 量化版本,该系列是面向边缘 AI 与端侧部署的混合架构模型。仓库中的 Q4_0 版本是量化感知蒸馏(QAD)checkpoint,训练用于恢复 Q4_0 量化损失的精度;各 GGUF 内置 general.sampling.* 元数据,llama.cpp 默认应用推荐采样参数(--temp 0.1 --top-k 50 --repeat-penalty 1.05)。

    推荐理由:官方说明 Q4_0 版本采用量化感知蒸馏来恢复精度损失,并给出 llama.cpp 的推荐采样参数,便于本地部署复现。

  1. Reddit · r/LocalLLaMA61

    Google DeepMind 开放 EmbeddingGemma 2 多模态嵌入模型权重

    Google DeepMind 开放 EmbeddingGemma 2 嵌入模型权重,总参数 740M,将文本(含代码)、图像、视频和音频统一映射到 768 维向量空间。

    推荐理由:原文列出了参数构成、MRL 截断维度和 llama.cpp 支持等细节,本地部署用户可据此评估端侧多模态嵌入的可行性。

  1. Hugging Face · 新模型:abliterated69

    shefowl 发布 Qwen3.8-Flash-Next 混合精度 GGUF 量化版

    shefowl 发布了 Qwen3.8-Flash-Next 的混合精度 GGUF,非专家张量取自 SC117 的 IQ3_XXS 档、路由专家张量取自 Q2_0 档,逐字节复制未重新量化,权重为上游已去拒绝的 abliterated 版本。

    推荐理由:作者给出了与 IQ3_XXS 和 Q2_0 档在困惑度、解码速度和内存占用上的实测对比,可据此权衡这套混合量化的取舍。

  2. Hugging Face · 趋势模型83

    ISTA-DASLab 发布 Qwen3.8-27B 的 GSQ-RCO 非均匀量化 GGUF 权重

    ISTA-DASLab 发布 Qwen3.8-27B 的 GSQ-RCO 非均匀量化 GGUF 权重,提供 2.50 至 3.50 bpw 四个档位及 BF16 视觉投影器。

    推荐理由:仓库给出各量化档位与 Unsloth Dynamic 的完整基准对比,并附可审计的逐张量分配文件,读者可据此评估是否采用。

  3. Hugging Face · 趋势模型78

    Prism ML 发布 Ternary-Bonsai-2-27B 三值量化 GGUF 模型

    Prism ML 在 Hugging Face 发布 Ternary-Bonsai-2-27B-gguf,将 Qwen3.8-27B 转为三值权重(1.72 bits/weight),语言模型体积从约 54 GB FP16 降至 5.95 GB(PTQ1_0)或 7.21 GB(PQ2_0)。

    推荐理由:原文给出三值权重格式、14 项基准对比和跨平台吞吐数据,读者可以据此评估 1.72 bits/weight 量化在本地部署中的实际取舍。

  4. Hugging Face · 趋势模型60

    OrcaRouter 发布 OrcaSAQ2 27B Cyber Uncensored GGUF 量化权重

    OrcaRouter 发布 OrcaSAQ-2-27B-Uncensored GGUF,将无对齐的 Qwen3.8-27B 从 54.7 GB BF16 压缩到 15.7 GB,PPL 仅 +0.80%,Top-1 agreement 94.4%,mean KLD 0.020。

    推荐理由:原文给出了量化后与 BF16 基线的 PPL、Top-1 agreement 和 KLD 对照数据,可据此评估这类高压缩权重的保真程度。

  5. Hugging Face · 趋势模型76

    ISTA-DASLab 发布 Qwen3.8-Flash-Next 的 GSQ-RCO 非均匀量化 GGUF

    ISTA-DASLab 发布 Qwen3.8-Flash-Next 的 GSQ-RCO 非均匀量化 GGUF,提供 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 四档及多模态 mmproj 文件。

    推荐理由:原文给出四个量化档位的实测跑分、吞吐与显存占用数据,读者可按内存预算与质量需求直接选型。

  1. Hugging Face · 新模型:uncensored74

    TokenTinkerer 发布 Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 十档 GGUF 量化集

    TokenTinkerer 基于 HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 发布了 TTQ 十档 GGUF 量化集,从 3.33 bpw 到 6.72 bpw,全部从上游 Q8_K_P 用自建 imatrix 重量化。每档以同一机器同一协议实测 KLD/RMS 与 llama-bench 速度,每档 KLD 均优于上游仓最接近尺寸的量化 1.26× 到 3.51×,同质量档位小 1.44 到 7.90 GiB,匹配对比下 decode 快 6% 到 19%、prefill 快 28% 到 80%。

    推荐理由:作者用同一协议实测十档量化的KLD、体积与速度,并给出与上游仓位的逐项对照,读者可按显存和用途挑选合适的档位。

已经到底了