研究:过滤病毒蛋白削弱ESM-2能力但低成本微调可恢复
先了解这件事
英国 AI 安全研究所(AISI)Chem-Bio 团队的 Aaron Maiwald 等人在 arXiv 发表论文,从零预训练 8M 至 3B 参数的 ESM-2 蛋白质语言模型,测试预训练数据过滤能否有效且持久地削弱模型的特定能力。 结果显示,从预训练数据中过滤病毒蛋白会明显削弱模型在病毒蛋白上的掩码语言建模、突变效应预测和长程接触预测,影响集中于感染人类的病毒蛋白,模型越大削弱越强。但论文结论是这种过滤只起到中等程度的削弱,无法抵御低成本微调:用被移除病毒家族的序列微调即可恢复性能,即使最大模型的恢复成本约 80 美元的 H100 算力时间。
AI 根据报道生成 · 8 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- AIHOT · 精选英国 AISI 实测 ESM-2 预训练数据过滤可削弱目标能力但约 80 美元算力即可恢复
英国 AI Security Institute 的 Chem-Bio 团队从零预训练 8M 到 3B 参数的 ESM-2 蛋白质语言模型,测试预训练数据过滤对专业科学模型的效果。实验发现,数据过滤能削弱模型的目标能力,但仅需约 80 美元算力即可恢复。
- arXiv · cs.AI精选arXiv 论文研究蛋白质语言模型预训练数据过滤的有效性与耐久性
一项发表于 arXiv:2610.26651 的研究以 ESM-2 蛋白质语言模型家族(8M 至 3B 参数)为对象,评估预训练数据过滤的有效性、耐久性与可扩展性。结果显示,从预训练数据中过滤病毒蛋白会明显削弱模型在病毒蛋白上的掩码语言建模、突变效应预测和长程接触预测,且影响集中于感染人类的病毒蛋白,模型越大过滤效果越强;但用被移除病毒家族的序列微调即可恢复性能,即使最大模型的恢复成本约 80 美元的 H100 时间。论文结论是预训练过滤对选择性削弱病毒蛋白能力效果中等,但无法抵御算力与数据门槛不高的微调。
本事件热度走势
- 可比范围当前
- 5
- 可比范围峰值
- 610月20日 16:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。