跳到正文
热点事件持续更新

arXiv论文发布CrossProfile基准诊断LLM群体记忆失效

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

一篇arXiv论文(arXiv:2610.37624)提出CrossProfile诊断基准,含60个模板、480个任务,用Qwen2.5-7B、Llama-3.1-8B和两个DeepSeek模型检验LLM群体讨论记忆的筛选策略。基准通过固定文本、交叉改变支持性、诱饵和无关事实的归属来构造任务,答案可自动验证。 结果显示:按相关性筛选记忆会因诱饵信息同样切题而比稀有优先低23到31分;稀有优先平均不优于随机选择;移除事实归属标签可使经典配置准确率提升13到24分;而保留完整讨论记录的准确率甚至低于不做任何笔记。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. arXiv · cs.AI
    稀有、相关却仍出错:记忆如何让 LLM 群体决策失败

    一篇 arXiv 论文提出 CrossProfile 基准,含 60 个模板、480 个任务,用 Qwen2.5-7B、Llama-3.1-8B 和两个 DeepSeek 模型检验 LLM 群体讨论记忆的筛选策略。结果显示按相关性筛选会因 decoy 信息同样切题而比稀有优先低 23 到 31 分,稀有优先平均不优于随机选择;移除事实归属标签可使经典配置准确率提升 13 到 24 分,而完整讨论记录的准确率甚至低于不做任何笔记。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。