llm-distillery：用 Gemini Flash 蒸馏 Qwen2.5 构建本地领域分类器的开源框架

veen-systems 在 GitHub 开源 LLM Distillery 框架，用 Gemini Flash 作 oracle 生成标注数据，蒸馏出本地运行的 Qwen2.5-1.5B/7B 领域分类器，成本降低 100 倍、推理快 50 倍。已部署 sustainability_technology v1 和 uplifting v5 两个过滤器（Qwen2.5-1.5B + LoRA，18.5M 可训练参数，MAE 分别为 0.690 和 0.681），涵盖数据准备、验证、训练与预过滤/模型/后过滤三级推理流水线；按每日 4000 篇文章估算，单过滤器每年可节省约 1450 美元，项目采用 EUPL v1.2 许可证。