arXiv论文发布CrossProfile基准诊断LLM群体记忆失效
热点事件持续更新
arXiv论文发布CrossProfile基准诊断LLM群体记忆失效
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
一篇arXiv论文(arXiv:2610.37624)提出CrossProfile诊断基准,含60个模板、480个任务,用Qwen2.5-7B、Llama-3.1-8B和两个DeepSeek模型检验LLM群体讨论记忆的筛选策略。基准通过固定文本、交叉改变支持性、诱饵和无关事实的归属来构造任务,答案可自动验证。 结果显示:按相关性筛选记忆会因诱饵信息同样切题而比稀有优先低23到31分;稀有优先平均不优于随机选择;移除事实归属标签可使经典配置准确率提升13到24分;而保留完整讨论记录的准确率甚至低于不做任何笔记。
AI 根据报道生成 · 1 小时前更新
最新进展10月28日 01:49
稀有、相关却仍出错:记忆如何让 LLM 群体决策失败报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- arXiv · cs.AI稀有、相关却仍出错:记忆如何让 LLM 群体决策失败
一篇 arXiv 论文提出 CrossProfile 基准,含 60 个模板、480 个任务,用 Qwen2.5-7B、Llama-3.1-8B 和两个 DeepSeek 模型检验 LLM 群体讨论记忆的筛选策略。结果显示按相关性筛选会因 decoy 信息同样切题而比稀有优先低 23 到 31 分,稀有优先平均不优于随机选择;移除事实归属标签可使经典配置准确率提升 13 到 24 分,而完整讨论记录的准确率甚至低于不做任何笔记。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。