跳到正文
Reddit · r/LocalLLaMA· /u/likejazz·· 12 天前AI 评分53

DNA Factory 开源:内部使用逾一年的 LLM 微调框架

DNA Factory: yet another LLM training framework

来源与原文

Reddit · r/LocalLLaMA

作者:/u/likejazz

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xskn3z/dna_factory_yet_another_llm_training_framework/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Dnotitia 团队开源了内部使用超过一年的微调框架 DNA Factory,设计思路是只提供一种推荐做法,默认项全部写入 configs/_defaults-*.yaml 并附说明,仅支持 SFT、DPO、GRPO、OPD、SDFT 五种训练方法,计划移除 DPO。作者重写 TRL 的 loss 函数实现 ANSI 彩色的 token 级 loss-mask 可视化,参与 loss 的 token 显示为蓝色、排除的为灰色,可一眼看出实际训练了哪些 token。OPD 用 reverse KL 让学生先自行作答、教师逐 token 批改,SDFT 则用带额外信息的模型副本充当教师,两者都为避免灾难性遗忘。

来源:Reddit · r/LocalLLaMA · reddit.com