arXiv · cs.CL· Dmitrij Żatuchin·· 13 天前AI 评分42
二十天后复测:预注册实验检验 Gemini 回答中品牌提及预测的持久性
Twenty Days Later: A Pre-Registered Test of History-Based Forecasts of Brand Mentions in Gemini Answers
来源与原文
arXiv · cs.CL
作者:Dmitrij Żatuchin
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.19608v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
一项预注册复现实验向 gemini-3.1-pro-preview 发送相同的 162 个请求(英、爱沙尼亚语、芬兰语各 54 个问题),分三波在约十小时内完成,并于 20.3 天后复测。基于九次历史回答的品牌提及率预测取得 Brier 0.0281、log loss 0.126,优于品牌历史(0.104)与总体比率(0.234),且在全部九个问题族中成立(p = 0.0039)。8 小时波中 202 个全票一致的单元在 D1 有 194 个未变、无一反转,表明品牌提及计数具有可操作的持久性。
来源:arXiv · cs.CL · arxiv.org