基于Qwen2.5-3B的5岁儿童安全教育LLM项目（RLAIF + CoT + 知识蒸馏 + DPO）

Fabyo Sousa Ramos 的 GenAI/LLM 硕士毕业项目训练了一个面向 5 岁儿童的安全教育助手模型，以 Qwen2.5-3B 为学生模型、Qwen2.5-7B 为教师模型，结合 CoT 合成数据、Logits 知识蒸馏与 DPO 内化安全 guardrails 和儿童化人格。最终模型经 LoRA 权重合并并量化为 GGUF（Q4_K_M）格式，可在资源受限设备上本地离线运行。DPO 训练 1 个 epoch 内 Loss 快速收敛，模型在无 system prompt 测试中也能拒绝恶意或越狱指令。