arXiv · cs.CL· Oscar Chew·· 13 天前AI 评分41
GEMMU:多模态 LLM 机器遗忘评测的三大陷阱
Are We Really Measuring Forgetting? Pitfalls in Evaluating Machine Unlearning for Multimodal LLMs
来源与原文
arXiv · cs.CL
作者:Oscar Chew
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.19613v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文指出多模态大语言模型(MLLM)机器遗忘评测存在三大陷阱:缺少 heldout 评估区分概念级遗忘与实例级过拟合、依赖合成微调知识而非预训练真实知识、以及用相同训练设置不公平地比较不同遗忘方法。作者提出基于真实知识的 GEMMU 基准,重新评估代表性遗忘方法后发现显著泛化差距,并挑战了此前基准的结论。
来源:arXiv · cs.CL · arxiv.org