过拟合与创造力：GPT-2 时代模型为何更有创意

Reddit r/LocalLLaMA 用户发帖讨论过拟合与模型创造力的关系：GPT-2 训练数据比当前数据集小多个数量级，却表现出更强的创造力；如今模型极擅长预测（尤其是代码），但难以泛化到真正的创意写作。作者提问：用最新一代训练配方但刻意“欠训练”的模型，是否会在创意写作上更好、编码上更差，并询问训练轮数与学习率等参数设置。