arXiv · cs.CL· John Alderete·· 3 天前AI 评分51
arXiv 论文对比 LoRA 与全量微调在提示词安全分类中的表现
Task Format as a Factor in Adaptation: A Controlled Comparison of LoRA and Full Fine-Tuning for Prompt-Safety Classification
来源与原文
arXiv · cs.CL
作者：John Alderete
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.33813v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文 arXiv:2610.33813 用匹配的 400M encoder-decoder 模型对（Ettin）在三种任务格式上对比 LoRA 与全量微调做提示词安全分类，每个单元格最多 15 个随机种子并预注册分析。在预设学习率下全量微调在仅用标签训练时领先 LoRA 2-3 pp，编码器上学习率经同一搜索后差距消失；让 LoRA 在判定后写理由可提升 4.0 pp 并追平差距。微调模型域内超过 prompted 8B，但在三个分布外语料中两个落后，对抗性越狱场景落后 8-23 pp，且把 27-66% 良性但形似有害的提示词误判为不安全，而 8B 为 2-3%。结论是适配方式的影响小于训练方式、学习率和训练目标，域内准确率不足以衡量鲁棒性。
来源：arXiv · cs.CL · arxiv.org