跳到正文
GitHub · 灵魂体仓库·· 15 天前AI 评分42

MIThriade/sami-surgical-pruner:直接从 GGUF 二进制裁剪 Transformer 层的开源 CLI 工具

MIThriade/sami-surgical-pruner

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/MIThriade/sami-surgical-pruner

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 上的 sami-surgical-pruner 提供 CLI 工具 sami_gguf_layer_pruner.py,可在不反量化、不依赖 GPU 的前提下直接对 Q4_K、Q5_K、Q8_0 等量化 GGUF 文件做层级裁剪,仅用 CPU 和系统内存即可在数秒内处理多 GB 模型。工具支持按周期或指定索引删层并自动重编号张量与元数据,适合 Qwen3.5 这类混合架构,需 Python 3.10+,采用 Apache-2.0 许可,删层会带来困惑度下降且无需重训练。

来源:GitHub · 灵魂体仓库 · github.com