跳到正文
我的
arXiv · cs.CL· Lingfei Qian·· 16 小时前AI 评分34

LLM 不知道自己知道什么:FinDendro 基准评测金融回测中的时间性自我知识

LLMs Don't Know What They Know: Benchmarking Temporal Self-Knowledge for Financial Backtesting

来源与原文

arXiv · cs.CL

作者:Lingfei Qian

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2611.06808v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

研究团队推出 FinDendro 基准,用 1999 至 2026 年的 2,226 条带日期美国事实(宏观经济数据、月末股价和美联储决策)检验 LLM 的时间知识边界。结果显示多数前沿模型自我报告低估了实际知识:GPT-5 在对照事实上答对 76%,却仅声称知道 38%,且对其自称不知道的事实仍答对 61%;知识声明可超出实测边界多达七个季度。因此在模型训练窗口内的金融回测无法靠自述、指令或声明的知识截止日期保证无泄漏。

来源:arXiv · cs.CL · arxiv.org

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。