跳到正文
热点事件历史事件

Dnotitia 开源内部使用逾一年的微调框架 DNA Factory

1 篇报道1 个报道来源12 天前更新

先了解这件事

AI 综述

Dnotitia 团队开源了其内部使用超过一年的 LLM 微调框架 DNA Factory。团队称设计思路是只提供一种推荐做法,不追求涵盖所有技术,需要更多方法的用户可直接使用 TRL。 框架仅支持 SFT、DPO、GRPO、OPD、SDFT 五种训练方法,默认配置全部写入 configs/_defaults-*.yaml 并附说明;团队称 DPO 如今已很少使用,计划近期移除。 作者重写了 TRL 的 loss 函数,实现 ANSI 彩色的 token 级 loss-mask 可视化:参与 loss 的 token 显示为蓝色,被排除的为灰色,可直观看出实际训练了哪些 token。其中 OPD 用 reverse KL 让学生先自行作答、教师逐 token 批改,SDFT 用带额外信息的模型副本充当教师,两者都为避免灾难性遗忘。

AI 根据报道生成 · 7 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月10日
  1. Reddit · r/LocalLLaMA
    DNA Factory 开源:内部使用逾一年的 LLM 微调框架

    Dnotitia 团队开源了内部使用超过一年的微调框架 DNA Factory,设计思路是只提供一种推荐做法,默认项全部写入 configs/_defaults-*.yaml 并附说明,仅支持 SFT、DPO、GRPO、OPD、SDFT 五种训练方法,计划移除 DPO。作者重写 TRL 的 loss 函数实现 ANSI 彩色的 token 级 loss-mask 可视化,参与 loss 的 token 显示为蓝色、排除的为灰色,可一眼看出实际训练了哪些 token。OPD 用 reverse KL 让学生先自行作答、教师逐 token 批改,SDFT 则用带额外信息的模型副本充当教师,两者都为避免灾难性遗忘。