跳到正文
我的
GitHub · 去对齐工具与仓库·· 3 小时前AI 评分47

Cerbeto:从零训练的小型神经网络,用本地 LLM 当老师教英语与推理

michalasobczak/cerbeto

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/michalasobczak/cerbeto

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Cerbeto 是一个从随机权重开始训练的小型神经网络,参数量已从 6.9M 增至 34.6M(上限 40M),由本地 LLM 按"上课—睡眠—考试"节奏教学。幼儿园阶段用 300M tokens 训练后 BLiMP 达 65.9%,学前班在第 18 天从 60.5% 提升到 68.5%(v0017),稀有反义词从 25% 升至 85%。增长实验显示宽 99M 与深 283M 版本在 18M tokens 后均未超过 v0017。

来源:GitHub · 去对齐工具与仓库 · github.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。