arXiv · cs.AI· Quoc Phong Dao·· 5 天前AI 评分41
冲突感知 Logit 适配器 CALA：面向保持效用的反知识蒸馏训练时防御
Conflict-Aware Logit Adapters for Utility-Preserving Anti-Distillation
来源与原文
arXiv · cs.AI
作者：Quoc Phong Dao
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.31046v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出冲突感知 Logit 适配器 CALA，一种轻量级训练时反知识蒸馏防御方法。该方法在冻结的教师模型上附加小型残差 adapter，仅训练该 adapter，由代理学生模型识别易被模仿的位置并扰动输出分布，同时用正则化保留教师模型性能与流畅度。推理时开销较低且无需辅助模型，推理基准实验显示其显著降低学生模型成功模仿率，同时维持接近原教师模型的表现。
来源：arXiv · cs.AI · arxiv.org