Cerbeto发布从零训练的自改进小模型

Cerbeto 项目发布了一个从随机权重开始训练的小型神经网络，参数量已从 6.9M 增至 34.6M（上限 40M），由本地 LLM 按“上课—睡眠—考试”节奏教学。项目称，幼儿园阶段用 300M tokens 训练后 BLiMP 达 65.9%；学前班在第 18 天从 60.5% 提升到 68.5%（v0017），稀有反义词从 25% 升至 85%。 项目称，增长实验显示宽 99M 与深 283M 版本在 18M tokens 后均未超过 v0017。 仓库采用 PolyForm Noncommercial License 1.0.0，允许个人、研究、教育、爱好等非商业用途的阅读、运行、修改、分叉和分享，需保留版权声明；商业使用需作者书面许可。教学语料库不在该仓库内，各自保留原有许可（BabyLM 为 MIT、TinyStories 为 CDLA-Sharing-1.0、Wikipedia 为 CC BY-SA 4.0、FineWeb-Edu 为 ODC-By 1.0）。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。