跳到正文
GitHub · 去对齐工具与仓库·· 15 天前精选AI 评分71

tinydistill 开源:把 LLM 分类提示词蒸馏成 CPU 上毫秒级运行的小模型

Andreas-Hum/tinydistill

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Andreas-Hum/tinydistill

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Andreas-Hum 在 GitHub 发布 tinydistill,通过知识蒸馏把 LLM 分类提示词转成小分类器,用 YAML 描述任务即可让指令模型给无标注文本打软标签、训练小编码学生并导出 ONNX 或 int8 模型。Banking77 实测中,从 Qwen2.5-7B-Instruct(4-bit)蒸馏的 23 MB MiniLM 学生在 CPU 上 1.0 ms 每条文本,准确率 0.872 高于教师的 0.859,提速超 150 倍;8 MB 静态嵌入学生进一步达到 0.1 ms 每条、0.802 准确率。

推荐理由

仓库给出师生模型的准确率、延迟和体积对照,还写明适用与不适用的场景,便于评估这套 CPU 端蒸馏方案是否值得上手。

来源:GitHub · 去对齐工具与仓库 · github.com