Reddit · r/LocalLLaMA· /u/likejazz·· 12 天前AI 评分53
DNA Factory 开源:内部使用逾一年的 LLM 微调框架
DNA Factory: yet another LLM training framework
来源与原文
Reddit · r/LocalLLaMA
作者:/u/likejazz
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xskn3z/dna_factory_yet_another_llm_training_framework/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Dnotitia 团队开源了内部使用超过一年的微调框架 DNA Factory,设计思路是只提供一种推荐做法,默认项全部写入 configs/_defaults-*.yaml 并附说明,仅支持 SFT、DPO、GRPO、OPD、SDFT 五种训练方法,计划移除 DPO。作者重写 TRL 的 loss 函数实现 ANSI 彩色的 token 级 loss-mask 可视化,参与 loss 的 token 显示为蓝色、排除的为灰色,可一眼看出实际训练了哪些 token。OPD 用 reverse KL 让学生先自行作答、教师逐 token 批改,SDFT 则用带额外信息的模型副本充当教师,两者都为避免灾难性遗忘。
来源:Reddit · r/LocalLLaMA · reddit.com