arXiv · cs.AI· Aaron Maiwald·· 7 天前精选AI 评分57
arXiv 论文研究蛋白质语言模型预训练数据过滤的有效性与耐久性
The Effectiveness and Durability of Pretraining Data Filtering in Protein Language Models
来源与原文
arXiv · cs.AI
作者：Aaron Maiwald
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.26651v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项发表于 arXiv:2610.26651 的研究以 ESM-2 蛋白质语言模型家族（8M 至 3B 参数）为对象，评估预训练数据过滤的有效性、耐久性与可扩展性。结果显示，从预训练数据中过滤病毒蛋白会明显削弱模型在病毒蛋白上的掩码语言建模、突变效应预测和长程接触预测，且影响集中于感染人类的病毒蛋白，模型越大过滤效果越强；但用被移除病毒家族的序列微调即可恢复性能，即使最大模型的恢复成本约 80 美元的 H100 时间。论文结论是预训练过滤对选择性削弱病毒蛋白能力效果中等，但无法抵御算力与数据门槛不高的微调。
推荐理由
论文用 ESM-2 系统实测了预训练数据过滤对病毒蛋白能力的削弱程度，并量化了微调恢复的代价，对评估过滤类防护的耐久性有直接参考价值。
来源：arXiv · cs.AI · arxiv.org