教程展示单张消费级GPU从零训练葡萄牙语小模型

Pedro Carvalho Brom 发布教程论文与 Python 包，展示在单张家用消费级 GPU 上从零训练 11–12M 参数的葡萄牙语语言模型，包含 tokenizer 及自回归与掩码扩散两种生成模式，并发布预注册评测协议。作者说明该教程不提出新方法，预注册的人类盲读尚未包含在当前版本中。 测试结果显示：自回归模式在 64 epochs 后开始记忆训练文本，掩码扩散可训练到 256 epochs，似然边界高出 0.06 bits per byte；在法律文本续写与篡改检测任务上，该模型不敌经约 500 至 10 万倍算力训练的 160M 和 630M 参数公开模型。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。