GitHub · 去对齐工具与仓库·· 3 小时前AI 评分47
Cerbeto:从零训练的小型神经网络,用本地 LLM 当老师教英语与推理
michalasobczak/cerbeto
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/michalasobczak/cerbeto
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Cerbeto 是一个从随机权重开始训练的小型神经网络,参数量已从 6.9M 增至 34.6M(上限 40M),由本地 LLM 按"上课—睡眠—考试"节奏教学。幼儿园阶段用 300M tokens 训练后 BLiMP 达 65.9%,学前班在第 18 天从 60.5% 提升到 68.5%(v0017),稀有反义词从 25% 升至 85%。增长实验显示宽 99M 与深 283M 版本在 18M tokens 后均未超过 v0017。
来源:GitHub · 去对齐工具与仓库 · github.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。