GitHub · 去对齐工具与仓库·· 21 天前AI 评分24
DyT-NoNorm-LLMs-REWILD：用 Dynamic Tanh 替换 LayerNorm 优化 DistilGPT2
MRROBOT401/DyT-NoNorm-LLMs-REWILD
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/MRROBOT401/DyT-NoNorm-LLMs-REWILD
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
MRROBOT401 开源的 DyT-NoNorm-LLMs-REWILD 项目将 DistilGPT2 中的 LayerNorm 替换为 Dynamic Tanh（DyT），并结合 LoRA 微调。在 RE-WILD、Alpaca 和 ShareGPT 三个基准上的评测显示，该方法带来更快的收敛速度、更好的性能指标和更低的微调资源消耗。项目采用 MIT 许可证发布在 GitHub。
来源：GitHub · 去对齐工具与仓库 · github.com