arXiv · cs.AI· Nils Schwager·· 22 小时前AI 评分29
评估 token 概率作为人类行为模拟中的置信度估计器：卢森堡语 Next Like Prediction 案例研究
Evaluating Token Probabilities as Confidence Estimators in Human Behavior Simulations: A Case Study in Luxembourgish Next Like Prediction
来源与原文
arXiv · cs.AI
作者：Nils Schwager
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.07735v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究以卢森堡语新闻平台的 Next Like Prediction 任务检验开源权重 LLM 的 token 概率能否充当置信度估计，测试 Ministral 3（3B、8B）发现仅用上下文学习时模型过度自信，在准确率与校准上均不及简单统计基线。从 3B 扩到 8B 提升准确率却恶化校准，更长行为历史提高准确率但置信度下降；任务特定监督微调将 Expected Calibration Error 从 0.2 降至 0.006，准确率从 0.536 升至 0.758。
来源：arXiv · cs.AI · arxiv.org
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。