GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分64
MedAdapt Lab 发布五项实验报告:小模型继续训练 Qwen3 Base 读 2026 年 ADHD 论文的记忆与遗忘
hera2019/MedAdapt-Lab
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/hera2019/MedAdapt-Lab
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
MedAdapt Lab 完成了 ADHD-01 至 ADHD-05 五项实验,在单台 Apple M2 Max 上用手写 MLX 训练循环和 LoRA 继续训练 Qwen3 Base 模型,数据为 269 篇模型发布后出现的 CC 许可 ADHD 论文及 400 个虚构试验。主要发现包括:约 1.65 遍训练后,已训练论文题目准确率比未训练论文多提升 3.8-5.0 个百分点;1.7B 模型在 3.3 遍时额外增益达 +8.7;真实论文训练使通用文本困惑度上升 7%-123%;虚构事实在约 4-8 遍后从 25% 几率突升到 44%-51%;同 exposure 下四份不同文本比一份重复四遍高 +4.5 到 +7.6 分;无 replay 的窄域新事实训练使通用困惑度升 37-94 倍。
推荐理由
原文用训练前冻结的考题和对照实验,量化了小模型读新论文能记住多少、忘掉多少,方法可复现可迁移。
来源:GitHub · 去对齐工具与仓库 · github.com