arXiv · cs.AI· Arjun Ashok·· 8 天前AI 评分19
WhatIf-Bench:评测时间序列基础模型对干预场景的预测能力
WhatIf-Bench: Benchmarking Intervention-Aware Time Series Forecasting
来源与原文
arXiv · cs.AI
作者:Arjun Ashok
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.26582v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
WhatIf-Bench 是一个半合成 benchmark,基于数据中心、电网、道路交通和水网络的机制模拟器生成共 37,665 个任务,衡量预测模型利用协变量预测目标对未来事件响应的能力。评测显示 frontier LLM 技能最高、优于最好的 TSFM;各模型在 Replay 任务上达 48-85% skill,但在 Novel 任务上跌至 -7 至 50%,回归基线跌幅最大。对 Novel 场景的泛化是核心挑战。
来源:arXiv · cs.AI · arxiv.org