跳到正文
只看论文#base模型
  1. GitHub · 去对齐工具与仓库64

    MedAdapt Lab 发布五项实验报告：小模型继续训练 Qwen3 Base 读 2026 年 ADHD 论文的记忆与遗忘

    MedAdapt Lab 完成了 ADHD-01 至 ADHD-05 五项实验，在单台 Apple M2 Max 上用手写 MLX 训练循环和 LoRA 继续训练 Qwen3 Base 模型，数据为 269 篇模型发布后出现的 CC 许可 ADHD 论文及 400 个虚构试验。主要发现包括：约 1.65 遍训练后，已训练论文题目准确率比未训练论文多提升 3.8-5.0 个百分点；1.7B 模型在 3.3 遍时额外增益达 +8.7；真实论文训练使通用文本困惑度上升 7%-123%；虚构事实在约 4-8 遍后从 25% 几率突升到 44%-51%；同 exposure 下四份不同文本比一份重复四遍高 +4.5 到 +7.6 分；无 replay 的窄域新事实训练使通用困惑度升 37-94 倍。

    推荐理由：原文用训练前冻结的考题和对照实验，量化了小模型读新论文能记住多少、忘掉多少，方法可复现可迁移。

  1. arXiv · cs.CL67

    arXiv 论文：base 模型可借起始 token 线索触发推理，Olmo-3-7B MATH-500 从 42% 升至 78%

    arXiv 论文（arXiv:2610.06851）研究训练数据如何在 base 模型回复的起始 token 与后续推理行为之间建立关联，发现固定特定起始 token 线索即可让 base 模型在数学和编码上接近其 RL 训练版本。

    推荐理由：论文用因果数据干预把推理行为追溯到训练数据，并给出固定起始 token 即可逼近 RL 版本性能的具体数字。

已经到底了