Dnotitia 开源内部使用逾一年的微调框架 DNA Factory
热点事件历史事件
Dnotitia 开源内部使用逾一年的微调框架 DNA Factory
1 篇报道1 个报道来源12 天前更新
先了解这件事
AI 综述
Dnotitia 团队开源了其内部使用超过一年的 LLM 微调框架 DNA Factory。团队称设计思路是只提供一种推荐做法,不追求涵盖所有技术,需要更多方法的用户可直接使用 TRL。 框架仅支持 SFT、DPO、GRPO、OPD、SDFT 五种训练方法,默认配置全部写入 configs/_defaults-*.yaml 并附说明;团队称 DPO 如今已很少使用,计划近期移除。 作者重写了 TRL 的 loss 函数,实现 ANSI 彩色的 token 级 loss-mask 可视化:参与 loss 的 token 显示为蓝色,被排除的为灰色,可直观看出实际训练了哪些 token。其中 OPD 用 reverse KL 让学生先自行作答、教师逐 token 批改,SDFT 用带额外信息的模型副本充当教师,两者都为避免灾难性遗忘。
AI 根据报道生成 · 7 天前更新
最新进展11月10日 19:35
DNA Factory 开源:内部使用逾一年的 LLM 微调框架报道时间线
沿着报道,了解事件的不同侧面。
11月10日
- Reddit · r/LocalLLaMADNA Factory 开源:内部使用逾一年的 LLM 微调框架
Dnotitia 团队开源了内部使用超过一年的微调框架 DNA Factory,设计思路是只提供一种推荐做法,默认项全部写入 configs/_defaults-*.yaml 并附说明,仅支持 SFT、DPO、GRPO、OPD、SDFT 五种训练方法,计划移除 DPO。作者重写 TRL 的 loss 函数实现 ANSI 彩色的 token 级 loss-mask 可视化,参与 loss 的 token 显示为蓝色、排除的为灰色,可一眼看出实际训练了哪些 token。OPD 用 reverse KL 让学生先自行作答、教师逐 token 批改,SDFT 则用带额外信息的模型副本充当教师,两者都为避免灾难性遗忘。