跳到正文
我的
热点事件持续更新

FinDendro基准:LLM金融回测知识泄漏难自证

1 篇报道1 个报道来源15 小时前更新

先了解这件事

AI 综述

研究团队推出 FinDendro 基准,用 1999 至 2026 年的 2,226 条带日期美国事实(宏观经济数据、月末股价和美联储决策)检验大模型的时间知识边界,结果显示多数前沿模型的自我报告低估了实际知识。GPT-5 在对照事实上答对 76%,却仅声称知道 38%,且对其自称不知道的事实仍答对 61%;模型的知识声明最多可超出实测边界七个季度。 论文由此指出:在模型训练窗口内做金融回测时,无法依靠模型自述、指令或声明的知识截止日期来保证回测没有知识泄漏。

AI 根据报道生成 · 53 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. arXiv · cs.CL
    LLM 不知道自己知道什么:FinDendro 基准评测金融回测中的时间性自我知识

    研究团队推出 FinDendro 基准,用 1999 至 2026 年的 2,226 条带日期美国事实(宏观经济数据、月末股价和美联储决策)检验 LLM 的时间知识边界。结果显示多数前沿模型自我报告低估了实际知识:GPT-5 在对照事实上答对 76%,却仅声称知道 38%,且对其自称不知道的事实仍答对 61%;知识声明可超出实测边界多达七个季度。因此在模型训练窗口内的金融回测无法靠自述、指令或声明的知识截止日期保证无泄漏。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。