跳到正文
热点事件历史事件

kabcpc 发布 27B 消融模型混合量化 GGUF,适配 16GB 苹果芯片

1 篇报道1 个报道来源13 天前更新

先了解这件事

AI 综述

kabcpc 在 Hugging Face 发布 Huihui-Qwen3.8-27B-Abliterated 的混合量化 GGUF 版本(PTQ1_0-LUT + Q4_1),专为 Apple Silicon 优化,包体积 6.86 GiB,可在 16 GB 内存的 M 系列芯片 Mac Mini 上运行,支持 131k 上下文。 该版本将 54 个 abliterated 张量以 Q4_1(5.0 bpw)重新量化,PPL 为 3.6742。作者页面称其在 Metal GPU 下生成速度 16.4–16.5 tokens/sec,提示处理 63.3–65.9 tokens/sec,实现零 CPU 回退,并通过全部 uncensored 检查,支持多模态与 JSON 工具调用。

AI 根据报道生成 · 11 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月10日
  1. Hugging Face · 新模型:abliterated
    Huihui-Qwen3.8-27B-Abliterated-Hybrid-GGUF 量化模型发布,专为 Apple Silicon 优化

    kabcpc 发布 Huihui-Qwen3.8-27B Abliterated 的混合量化 GGUF(PTQ1_0-LUT + Q4_1),包体积 6.86 GiB,可在 16 GB 内存的 Mac Mini M 系列上流畅运行,支持 131k 上下文。该版本将 54 个 abliterated 张量以 Q4_1(5.0 bpw)重新量化,PPL 为 3.6742,Metal GPU 下生成速度 16.4–16.5 tokens/sec,提示处理 63.3–65.9 tokens/sec,实现零 CPU 回退、通过全部 uncensored 检查,并支持多模态与 JSON 工具调用。