并非所有提及都是断言：重新思考视觉语言模型中的对象幻觉检测
一项研究提出 NAME-Bench，从五个 VLM 为 COCO 图像生成的字幕中标注 25,497 个对象提及，将“非断言性提及”与真实幻觉区分开。现有幻觉检测器将 14%–80% 的非断言提及误判为幻觉；把这类提及作为负样本加入训练可在 LLaVA-1.5 上基本纠正，但在四个更新的 VLM 上需五到十倍数据且会漏检更多真实幻觉。研究认为幻觉评测应区分字幕“断言”与“仅仅提及”的对象。
#能力评测
新闻、仓库与研究，按时间排列。
arXiv · cs.CLAI 评分3636 arXiv · cs.AIAI 评分4141 LLM 叙事诱导谄媚评测：用户的叙事方式会如何左右模型判断
一项 arXiv 研究构建了含 500 个争议问题、共 5,500 个评测实例的基准，在立场不变的情况下改变用户论证的叙事形式，测试 7 个 LLM 的谄媚程度。结果显示效应并非随叙事展开单调变化：个人经历会降低模型附和，而因果框架和世界观式综合会增加附和；GPT-5.1 消融实验表明因果框架影响最强，保留原要点的分点呈现也比段落形式更易引发附和。这表明谄媚不仅取决于用户立场，还取决于支撑解释的结构与呈现方式。
arXiv · cs.CLAI 评分4242 VERITAS 通过言语化模型计算检测思维链忠实性
研究者提出 VERITAS 方法，通过层间 Jacobian 投影言语化模型内部计算，追踪推理锚点如何在各层间迁移并出现在输出中，以检测思维链（CoT）忠实性。在 FaithCoT-Bench 与 BonaFide 的四个数据集上，VERITAS 的 balanced accuracy 较 LLM-as-Judge 提升 28.4%，较 activation probing 平均提升 16.0%，且可泛化到不同数据集与模型架构。
arXiv · cs.AIAI 评分4343 并非所有测试时算力都是证据：LLM 推理中的模型特定偏差
arXiv 论文指出，同一推理模型的重复采样、不同推理深度和自评估之间存在错误相关性，因此同模型更多算力并不等于更多独立证据。作者提出 DIA（Disagreement-triggered Independent Arbitration），当中间阶段与最终阶段预测不一致时，由一组异构模型独立求解并聚合答案。在七个基准、两个基础模型上，DIA 在 14 个设置中的 12 个优于完整 chain-of-thought，MuSiQue 提升 7.00%，仅激活约 17% 的样本，token 用量比多智能体基线最多减少 47.2%。
arXiv · cs.CLAI 评分3232 用自然语言解释国际象棋与围棋：BinProp 方法让语言模型棋评更可懂
研究者提出基于国际象棋引擎评估的自动指标来衡量语言模型的象棋解释质量，发现现有 SOTA 模型表现很差，多依赖棋盘表面观察而非可迁移的象棋概念。他们进而提出免训练方法 BinProp，让模型发现可复用的象棋概念并用自然语言解释走法，平均得分较直接提示提升近 3 倍。该方法无需额外调参即可在围棋、西洋跳棋和将棋中发现有用概念。
arXiv · cs.CLAI 评分4646 同一用户不同答案：用重复风险容忍度响应审计 LLM 理财建议
一项研究用 800 个真实家庭画像审计 5 家厂商的 7 个 LLM 理财建议，发现仅风险答案变化时股票配置建议平均波动 24-35 个百分点，同一提示词重复询问仅为 0.6-4.2 个百分点。若按经典测试理论对答案可靠性折算，波动可缩小 2.4-3.3 倍；40 岁以下客户波动最大。一次澄清提问可将客户纠正答案后的波动从 33.5 降至 1.9 个百分点，作者建议将同人次重测审计作为 AI 理财顾问的标准检查。
arXiv · cs.CLAI 评分4949 KiranaBench：语言模型能否经营一家社区小店？
研究者推出 KiranaBench，一个模拟印度杂货店的多智能体基准，由四个 LLM 智能体分别扮演经理、收银员、帮手和账房，用英语、印地语或 Hinglish 与顾客和供应商交互，需求按印度家庭消费支出调查校准。评测四个开源权重 LLM 发现，表现最好的模型利润仅为固定规则店主基线的八分之一，两个模型甚至低于无人管理的店铺，且印地语和 Hinglish 下的表现持续弱于英语。结果表明当前 LLM 智能体尚不能可靠地自主经营印度的小生意。
arXiv · cs.CLAI 评分1717 识别 Atari 与判断 Sente：面向围棋语言模型 Agent 的受控评测任务
研究者构建了一个围绕围棋术语 atari 及其与 sente 关系的受控评测集，考察模型在局部棋盘变化下的术语识别与不同战略条件下的走子评估。团队对围棋语言模型 LoGos 进行术语与解说监督的微调后测试，发现其难以识别 atari 关系变化并评估其战略含义，术语预测关联的走子偏好甚至与参考评估相矛盾。
arXiv · cs.CLAI 评分3434 动量、评论基调与盈利意外如何影响 LLM 金融预测：一项输入依赖度实验
一项 arXiv 研究通过合成财报 announcement 独立操纵 20 日动量、非信息性评论基调与 EPS 是否超出共识，考察大语言模型金融预测究竟依赖哪些输入。来自四个模型族的 6 个 instruction/chat checkpoint（基础参数 0.49-7.61B），每个在 Q8_0 直答协议下接受 2,016 条提示词。结果显示：6 个模型中有 5 个的有符号基调对比幅度超过 EPS，5 个模型动量超过 EPS，主 EPS 对比范围为 -0.19 至 86.80 个百分点，自然词数值诊断准确率为 51.0-95.8%；研究测的是输入依赖与数值识别，不确立内部推理机制或实际收益可预测性。
arXiv · cs.CLAI 评分2424 研究揭示大语言模型中的姓名偏见
一项 arXiv 研究用填空任务评估 6 个跨厂商、跨参数规模的本地大语言模型的姓名偏见，基于美国 SSA 姓名数据集和 Rosenman et al. 种族分类数据集，共收集 300,000 条本地 LLM 响应。结果显示模型偏好较少刻板男性化、更年长、更流行和白人的名字；性别偏见最显著，其后依次为年龄、名字流行度和种族，且偏见高度依赖句子语境。
arXiv · cs.CLAI 评分4242 超越上下文长度：刻画长上下文推理的难度
arXiv 论文提出 LURCH 基准，用证据范围、证据分散度和推理深度三项属性量化长上下文推理难度，包含 6,550 个带证据与推理图谱的多领域问答实例。对闭源与开源权重模型的评估发现：固定上下文长度下三项属性均与性能强负相关；上下文变长时，证据分散样本性能骤降而局部化证据样本相对稳定；且三项属性中等偏高的题目比仅一项极端的更难。
arXiv · cs.CLAI 评分2828 PremiseSQL：评估 Text-to-SQL 系统的前提批判与弃答能力
研究者提出 PremiseSQL 基准，用于评估 NL2SQL 系统识别错误前提查询并拒绝生成误导性 SQL 的能力，基准包含 1,800 条带缺陷查询及 1,800 条原始查询，覆盖四类前提失败。评测框架在三种提示设置下测量模型的前提感知行为。实验显示前沿 LLM 默认倾向信任前提、很少质疑缺陷，而批判导向提示虽提升检测与弃答，但也增加误判并抑制原始查询的 SQL 生成。
arXiv · cs.CLAI 评分1717 LLM 文本打分量表敏感性研究：改变量表数字就会改变答案
一项 arXiv 研究系统考察了 LLM 文本打分中的量表敏感性，即评分量表设计差异如何改变 LLM 生成的分数。实验覆盖连续/序数 2 种格式、3/5/11/21 分 4 种范围、正负号 2 种设置、3 类任务、2 种提示策略和 5 个 LLM，发现改变任一设计要素平均使归一化分数偏移约 0.10，并改变约 20% 文本的类别。毒性任务敏感性最高，且基于 rubric 的提示并未降低敏感性。
arXiv · cs.CLAI 评分3131 Grid-Bench：LLM 能预测离散世界如何变化吗？
研究者推出 Grid-Bench，一个可执行基准，用二维、三维和四维网格上的八类操作测试大语言模型预测离散空间状态变化的能力。对六款 LLM 的评测显示，随着事件历史变长，完整状态准确率急剧下降，单事件表现相近的模型差异明显，且 Exact-match 相似的模型在错误单元格数量上也存在显著差异。
arXiv · cs.CLAI 评分4848 MindEval2：基于临床依据的患者模拟与评分标准，用于评估语言模型的心理健康支持能力
研究者推出心理健康支持评估框架 MindEval2，包含与博士级心理学家合作开发的 MHQR 评分标准和患者模拟组件 MindSim，后者带有跨轮次记忆以建模纵向心理健康过程。该框架评估了 18 个闭源和开源权重模型，发现前沿模型在表层质量和边界问题上已大幅改进，但指导校准仍是所有模型的主要失败模式，占质量差距的大部分。
arXiv · cs.AIAI 评分3030 AI Consilium：LLM 临床多学科二次会诊基准
研究者提出 AI Consilium，一个基于 300 例 NEJM-MedQA 病例的 LLM 临床多学科二次意见多维评测基准，其中 110 例用于医生参考评分与 Judge 校准，190 例用于留出评估。8 条单模型流水线共生成 3,040 份报告，由医生校准的 LLM Judge 评分：结构化报告在 8 条流水线中 7 条平均分更高，management 维度优势最明显（2.740 vs. 2.436）；完整结构化会诊报告在全部五项共同标准上优于会诊前的主角色意见。GPT-5.6-Sol 在所有评测组件中领先，并以最少的评审轮次达成共识。
arXiv · cs.AIAI 评分2222 AVC-Reward：以事件为中心的音视频一致性评测
研究者提出事件中心评测框架并实现为可训练音视频奖励模型 AVC-Reward，将判断聚合为粗到细的三级一致性指标，覆盖全局叙事、事件级时间同步和细粒度属性对齐。配套的 AVC-Benchmark 由多类音视频生成模型的正负样本构建。AVC-Reward 在与人类判断的对齐上达到自动方法中的 SOTA，作为在线强化学习信号可提升联合生成模型的音视频一致性。
arXiv · cs.AI精选AI 评分5353 FDE-Gym 基准发布：评测 AI 智能体的真实客户交付能力
arXiv 论文提出 FDE-Gym 基准，包含来自 20 个真实客户场景、18 个行业的 95 个端到端交付任务，考察智能体澄清模糊需求、发现未言明约束并在生产级系统上交付方案的能力。评分以客户自身成功指标的改进归一化（0 到 1），并对与利益相关者的交互（消息、试运行、等待时间）施加惩罚；同时评测了 7 家提供商的 13 个模型配置，最佳配置平均分 0.56，仅完成 14/95 个任务（得分至少 0.8 且无事故）。主要瓶颈是发现未言明约束，但即便在 23 个拿到全部关键事实的任务上，最佳配置也只有 10 个达到 0.8 以上的业务提升，显示解决明确任务与真实客户交付之间存在显著差距。配套有在线练习平台、代码和数据。
推荐理由：基准把交付结果量化为对客户业务指标的改进，还给出 13 个模型配置的实测对比和瓶颈定位，便于评估真实交付能力差距。
arXiv · cs.CL精选AI 评分5454 System1-Arena：评测哪些决策可以交给 System 1 模型
论文提出 System1-Arena 基准，统一给模型相同的决策请求并按概率打分，考察哪些决策可交给单次前向的 System-1 模型、哪些需要生成式推理。基准含 105 个任务的 92k 题目和 138 个闭环环境，评测 30 个模型；最大的 System-1 模型在非智能体任务上达到或超过快速闭源 LLM，延迟仅四分之一，推理型 LLM 最准确但成本约为快速 LLM 的 70 倍，闭环中大型开源 LLM 成功率最高（至多 32.9%）。
推荐理由：论文用统一基准量化 System-1 与 System-2 模型的决策分工，读者可借此判断哪些决策不必走生成式推理。
arXiv · cs.CL精选AI 评分5454 arXiv 论文提出扰动可控基准审计医疗 LLM 智能体升级可靠性
华盛顿大学圣路易斯分校等团队发布 arXiv 论文 arXiv:2610.21270，用 400 个合成医疗工作流 episode 审计 LLM 智能体在证据缺失、过期、冲突或延迟时的升级（escalate）决策，按 5:1 漏报与不必要升级成本计分。五个 1.7B–9.7B 开源权重配置干净决策准确率达 0.97，但不确定性触发的模型漏掉 32–97% 的必要升级，9.7B 配置在冲突下从 0.97 降到 0.78；语言化置信度不一致（ECE 0.10–0.54）。工作流感知控制器将漏升级降到 0.12–0.24、特异性 0.83–0.93，但 30 概念词汇压力测试使其规则检测器在未见改写上的召回从 1.00 降到 0.00，结论限于该基准。
推荐理由：论文量化了医疗 LLM 智能体在证据缺失或冲突时漏掉升级请求的比例，并提示路由控制器也要单独做泛化测试。
arXiv · cs.CL精选AI 评分5252 VALCON 论文提出双角色变化框架评测并缓解大语言模型价值一致性问题
研究者提出 VALCON，一个通过双角色变化把价值一致性操作化的评测框架，包含 VAB-Consistency、VAB-Boundary、VAB-Challenge 三个基准套件，代码和数据已开源。对 28 个 LLM 的实验显示普遍的跨角色不一致：输出高度合规的模型常常无法让自身评判与自己的生成对齐。机制探针发现与这种行为不对称相关的角色依赖表征解耦，据此提出的表征定向干预可有效缓解一致性失败。论文被接收为 Findings of ACL: EMNLP 2026。
推荐理由：论文把价值一致性单列为一个对齐维度，给出评测套件、机制分析和干预方法，对关注模型自我评估可靠性的读者有参考。
arXiv · cs.CLAI 评分3535 VoteGEO-Bench：衡量生成式引擎优化对选举信息可见性的影响
研究者提出 VoteGEO-Bench 基准，覆盖 2024 年美国总统大选和 2026 年日本众议院选举，评估 GEO 重写网页内容对生成式引擎回答的影响。基准测试了 4 类共 11 种改写策略，发现指定目标的改写更常提升目标曝光度，改进页面组织或通过论证强化立场的策略收益更大。收益在美国 voter personas 上总体为正，但 persona 条件化无一致效果，而显式党派身份造成的基线曝光差距可能超过改写单个网页的收益。
arXiv · cs.AI精选AI 评分5858 arXiv 论文提出非线性叙事生成基准：19个模型平均更偏线性讲述
一项 arXiv 研究发布包含83部出版作品的非线性叙事生成基准，每部作品标注正序与叙事顺序的事件列表及因果依赖、角色知识和悬念结构的故事图。测试显示19个模型按时间顺序讲述都比出版作品更线性，被要求特定结构时约一半情况落在人类范围内；自动化裁判与71位人类读者都更偏好模型默认的线性故事，非线性版本在81%的关键判断中被认为更难跟上，读者还更偏好基于故事图生成的故事而非照搬出版顺序。
推荐理由：论文用83部作品语料和71位人类读者对比模型非线性叙事能力，给出了具体差距数据而非泛泛结论。
arXiv · cs.AIAI 评分4747 Muon 究竟何时胜出？一项数据、时间与调参预算配对基准研究
一项 arXiv 基准研究在单张 A100 GPU 上，以 17.7M 和 33.6M 参数因果语言模型及 2.70M 参数视觉 Transformer 比较 Muon 与 AdamW。相同数据下 Muon 将验证损失曲线下面积降低 3.25–22.44%，20 组主要配对全部降低测试损失；但 Muon 优化器调用耗时占训练时间 56.1–69.6%，AdamW 仅 6.1–9.1%，时间归一后 Muon 在视觉任务上领先 19.68–22.31%，语言任务上 AdamW 反而好 3.38–6.96%。结果表明该结论仅适用于小模型和参考实现，不能推广到更大模型或优化实现。
arXiv · cs.AIAI 评分4343 DialFork：超越事实性，评估对话智能体的程序性幻觉
研究者提出 DialFork，首个在原始对话文本上衡量“程序性幻觉”的 benchmark，即智能体语句流畅且事实合理但偏离预期对话流程。该基准通过在受控轮次分叉对话并注入四类幻觉，构建了覆盖 12 个领域 24 个任务的 36,278 段对话，由 30 名人类标注者验证；并提出 FlowKL 与 FlowScore 两个对话流感知指标，其中 FlowScore 在七个编码器上均显著超越基线。DialFork 以 MIT 许可证开源发布。
arXiv · cs.AIAI 评分2929 ClaimScope：面向数学命题审计的标签盲见证验证基准
arXiv 论文提出 ClaimScope，一个包含 72 个任务的基准，通过裁决、范围、反例和修复审计数学智能体提出的命题，并评估 Qwen3-8B 在直接生成与四种两轮条件下的表现。结果显示，验证器反馈使无效命题的反例接受数从 15/39 提升至 23/39，安全完成数从 20/72 提升至 25/72，而严格完成保持 17/72，裁决准确率从 47/72 变为 46/72。该论文已被 NeurIPS 2026 Workshop（Mathematical Reasoning and AI）接收。
arXiv · cs.AIAI 评分4040 评估 LLM 智能体的探究学习能力：假设、推理与探索
一项发表于 EMNLP 2026 (Findings) 的工作提出统一交互式评估框架，将 Countdown 任务扩展为数学环境，让 LLM 智能体通过操纵变量、收集观测来推断变量间关系。跨 7 个 LLM 和多种提示策略的实验显示，模型内在探究能力有限，发现底层表达式的成功率低；借鉴教育脚手架的结构化指导可显著提升表现。
Hugging Face · 新模型：abliteratedAI 评分4646 Qwen3.5-9B-Abliterated-V2 发布：零拒绝且保留深度推理的 abliterated 版本
Hugging Face 上发布 Qwen3.5-9B-Abliterated-V2，提供 BF16 与 GGUF Q8_0 格式，abliterated 处理后零拒绝且保留深度推理，可在 RTX 5080（16 GB）上运行。GSM8K 对比测试显示，其与原版 Qwen3.5-9B 均达 90.0% 精度，而 Xiaomi MiMo-V2.6-Distill 以 150-400 tokens 的精简推理快 7.4 倍；原版此前失利源于输出被截断在 1,024 tokens，给予 16,384 tokens 后即全部解对。
arXiv · cs.AIAI 评分4848 Doc2Harness：评测编码智能体长程 harness 工程能力的基准
中科院研究团队提出 Doc2Harness，首个直接评测 LLM 智能体长程 harness 工程能力的确定性两阶段基准。在 328 个测试用例上对 19 个前沿模型各做 3 次独立构建，GPT-6 Astra 以 53.05% 通过率居首，最弱模型为 27.44%；即使最强模型也失败近半数用例，失败集中在跨模块功能划分上。
arXiv · cs.AIAI 评分3737 零样本工具选择研究：从语义相关性到功能与上下文有效性验证
一篇 arXiv 论文提出渐进式验证框架，解决 LLM 智能体零样本工具选择中的“迁移有效性缺口”——语义相关的工具在迁移后仍可能不满足功能或上下文要求。该框架在语义相关性之外引入基于端点的功能兼容性与任务条件上下文证据，在跨域和跨数据集迁移中持续提升能力排序，消融实验证实两类验证的互补贡献。
arXiv · cs.CL精选AI 评分5757 MultiPartyTurnBench：评测多方语音对话中话轮控制的基准发布
作者发布 MultiPartyTurnBench（MPTB），包含 240 段合成、信道分离的 2 至 5 人对话和六种交互类型，评测话轮结束（EOT）检测与打断（INT）检测两项任务。基线模型 EOT 召回率达 82.5-92.6%，但五个全双工智能体在选择性打断处理上接近随机水平（46.9-54.7%），Gemini-3.8-Live 对 97.7% 的附和信号让出话轮，MiniCPM-o-4.5 仅响应 1.4% 的真实打断。论文指出选择性话轮控制仍是多方语音交互的未解难题。
推荐理由：基准把真实话轮转换与易混淆的非事件分开评测，并给出五个全双工智能体在选择性打断上的具体短板数据。
arXiv · cs.CLAI 评分5050 HICO-Bench：从可验证结果衡量社交智能体的交互有效性
arXiv 论文提出 HICO-Bench，包含 180 个日常协调场景，通过程序检查 Feasibility、LLM judge 检查 Integrity 来判定 Verified Success。测试 13 个 LLM 发现 36% 被评为高目标完成度的对话无法通过 Verified Success。论文还提出 PaCPO 方法，将 Qwen3-8B 的 Verified Success 从 20.4% 提升至 28.3%。
arXiv · cs.CLAI 评分3232 CSWBench：评估创意写作中语境敏感的语码转换
研究者推出 CSWBench，通过 Focused Narrative 与 Extended Narrative 两种设置评估 LLM 在创意写作中的语境敏感语码转换能力，并提出含事件级与全文级评估的 CSWEval 框架。对 12 个 LLM 的测试显示，模型具备语码转换能力但表现不均，多语言文学整合上的模型差异最明显。
arXiv · cs.CL精选AI 评分5353 arXiv 论文评测 DeepSeek-V4-Flash 与 GLM-5.3-Flash 在网络威胁情报实体抽取中的失败模式与置信度信号
arXiv 论文（arXiv:2610.20417）对 DeepSeek-V4-Flash、GLM-5.3-Flash 和 GPT-6.1-Sol 在 354 个事件活动语料上做预注册冻结评测，发现 micro precision 仅 0.03-0.34、ECE 0.53-0.94，旗舰模型也未消除差距。主要失败不是幻觉：抽样标注回推显示 65.6% 为背景提及、19.9% 为 gold 范围缺口，仅 1.2% 无依据候选。自洽性频率分层可在全部六个测试格通过预注册精度增益门槛，但 45 个关系级反事实显示单句误归属即可翻转 95.6-100% 的高置信判断，结论是置信度分层只能用于排定复核优先级，不能当真值。
推荐理由：论文用预注册冻结评测拆解了 LLM 长文档实体抽取的失败构成，发现主要问题不是幻觉而是背景提及，并给出置信度分层的部署边界。
arXiv · cs.CLAI 评分3939 semCER：按错误严重程度加权的 OCR 字符错误率指标
研究者提出 semCER，在保留 CER 对齐与分母的基础上，由 LLM judge 为每个字形编辑赋予严重度权重，无需分词。该指标在英语、越南语、中文上逐编辑追踪读者评分，并在 CER 与 semCER 分歧的样本上更常获得读者支持；团队发布了 6100 万条 judged edits、汇总读者评分及蒸馏后的 scorer。
arXiv · cs.CLAI 评分4242 ChronoCulture：评估大语言模型跨时间文化感知能力的基准
研究者推出 ChronoCulture 基准，基于 72 个国家的纵向调查数据构建 10,360 个时间配对，以人口回答分布为真值评估 LLM 的文化感知。在六个 LLM 上的测试显示，模型能预测某国某时点的态度，但难以捕捉态度随时间的变化，不同年份的预测结果趋于接近；在提示词中指定年份也几乎无改善。
arXiv · cs.CLAI 评分3434 翻译中的迷失：为什么更低的偏见分数不代表模型更公平
一项 arXiv 研究审计了 10 个开源模型在 8 种语言下的刻板印象偏见，发现全部 70 个模型-语言组合的平均偏见分数都低于英文水平，但低平均分并不等于更公平：同一测试项的英文分数与其翻译后分数的相关性仅 0.23（忠实翻译为 0.27），远低于英文改写间的 0.48。研究还指出三种会悄悄抹除偏见信号的常见流水线错误，并开源了代码。
arXiv · cs.CLAI 评分4141 PerSo：在真实说服场景中考察 LLM 社会智能的各个维度
arXiv 论文提出 PerSo 基准，基于 Reddit ChangeMyView 的真实说服对话，用 LLM-in-the-loop 流水线构建评测任务并经人工标注验证，同时评估 LLM 的认知智能与行为智能。对多个 LLM 的评测显示，性能总体随模型规模提升但在不同维度表现不一：最强模型在行为任务上略超最佳人类，而认知任务上最佳人类参与者仍领先。
arXiv · cs.CLAI 评分4242 二十天后复测：预注册实验检验 Gemini 回答中品牌提及预测的持久性
一项预注册复现实验向 gemini-3.1-pro-preview 发送相同的 162 个请求（英、爱沙尼亚语、芬兰语各 54 个问题），分三波在约十小时内完成，并于 20.3 天后复测。基于九次历史回答的品牌提及率预测取得 Brier 0.0281、log loss 0.126，优于品牌历史（0.104）与总体比率（0.234），且在全部九个问题族中成立（p = 0.0039）。8 小时波中 202 个全票一致的单元在 D1 有 194 个未变、无一反转，表明品牌提及计数具有可操作的持久性。
arXiv · cs.CLAI 评分4141 GEMMU：多模态 LLM 机器遗忘评测的三大陷阱
arXiv 论文指出多模态大语言模型（MLLM）机器遗忘评测存在三大陷阱：缺少 heldout 评估区分概念级遗忘与实例级过拟合、依赖合成微调知识而非预训练真实知识、以及用相同训练设置不公平地比较不同遗忘方法。作者提出基于真实知识的 GEMMU 基准，重新评估代表性遗忘方法后发现显著泛化差距，并挑战了此前基准的结论。