arXiv · cs.CL· Saurav Jha·· 8 天前AI 评分33
recAMPLIFY：递归蛋白质语言模型的大规模预训练
recAMPLIFY: Large-Scale Pretraining of Recursive Protein Language Models
来源与原文
arXiv · cs.CL
作者：Saurav Jha
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.26747v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者将递归预训练引入掩码蛋白质语言模型，提出 recAMPLIFY，一个 155M 独特参数、基于权重共享 Transformer 核心的模型，使用与 AMPLIFY-350M 相同的 2T token 训练。参数减少 56%，却在 CASP 接触位恢复和四分之三监督任务上更优，fold 准确率提升 22.5%。进一步提出的 Gated Mixture Recurrence（GMR）可将期望层深度最多降低 37%，但精度权衡因任务而异。
来源：arXiv · cs.CL · arxiv.org