arXiv · cs.CL· Leif Sieben·· 14 天前AI 评分39
预训练能让化学语言模型学会化学吗？
Does Pretraining Teach Chemical Language Models Chemistry?
来源与原文
arXiv · cs.CL
作者：Leif Sieben
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.18651v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究在 64 个分子性质预测数据集上系统评估化学语言模型（CLM）的预训练效果，发现其下游收益不随规模扩展，性能在低于梯度提升基线处饱和。只有基于传统理化描述符的监督预训练能持续提升表现，部分预训练方式甚至使模型差于随机初始化编码器，表明 CLM 从预训练中学到的化学知识很少。
来源：arXiv · cs.CL · arxiv.org