FinDendro基准:LLM金融回测知识泄漏难自证
热点事件持续更新
FinDendro基准:LLM金融回测知识泄漏难自证
1 篇报道1 个报道来源15 小时前更新
先了解这件事
AI 综述
研究团队推出 FinDendro 基准,用 1999 至 2026 年的 2,226 条带日期美国事实(宏观经济数据、月末股价和美联储决策)检验大模型的时间知识边界,结果显示多数前沿模型的自我报告低估了实际知识。GPT-5 在对照事实上答对 76%,却仅声称知道 38%,且对其自称不知道的事实仍答对 61%;模型的知识声明最多可超出实测边界七个季度。 论文由此指出:在模型训练窗口内做金融回测时,无法依靠模型自述、指令或声明的知识截止日期来保证回测没有知识泄漏。
AI 根据报道生成 · 53 分钟前更新
最新进展11月5日 01:24
LLM 不知道自己知道什么:FinDendro 基准评测金融回测中的时间性自我知识报道时间线
沿着报道,了解事件的不同侧面。
11月5日
- arXiv · cs.CLLLM 不知道自己知道什么:FinDendro 基准评测金融回测中的时间性自我知识
研究团队推出 FinDendro 基准,用 1999 至 2026 年的 2,226 条带日期美国事实(宏观经济数据、月末股价和美联储决策)检验 LLM 的时间知识边界。结果显示多数前沿模型自我报告低估了实际知识:GPT-5 在对照事实上答对 76%,却仅声称知道 38%,且对其自称不知道的事实仍答对 61%;知识声明可超出实测边界多达七个季度。因此在模型训练窗口内的金融回测无法靠自述、指令或声明的知识截止日期保证无泄漏。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。