LLM token概率作置信度估计的校准评估
热点事件持续更新
LLM token概率作置信度估计的校准评估
1 篇报道1 个报道来源22 小时前更新
先了解这件事
AI 综述
Nils Schwager 发表论文，在卢森堡语新闻平台的 Next Like Prediction 任务中检验开源权重 LLM 的 token 概率能否充当置信度估计。测试 Ministral 3（3B、8B）发现，仅用上下文学习时模型过度自信，在准确率和校准上都不及一个简单统计基线。 模型从 3B 扩到 8B 提高了准确率却恶化了校准；提供更长的行为历史能提高准确率，但置信度下降。 任务特定的监督微调被报告为有效的校准干预：Expected Calibration Error 从 0.2 降至 0.006，准确率从 0.536 升至 0.758。
AI 根据报道生成 · 4 小时前更新
最新进展11月5日 17:45
评估 token 概率作为人类行为模拟中的置信度估计器：卢森堡语 Next Like Prediction 案例研究报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- arXiv · cs.AI评估 token 概率作为人类行为模拟中的置信度估计器：卢森堡语 Next Like Prediction 案例研究
研究以卢森堡语新闻平台的 Next Like Prediction 任务检验开源权重 LLM 的 token 概率能否充当置信度估计，测试 Ministral 3（3B、8B）发现仅用上下文学习时模型过度自信，在准确率与校准上均不及简单统计基线。从 3B 扩到 8B 提升准确率却恶化校准，更长行为历史提高准确率但置信度下降；任务特定监督微调将 Expected Calibration Error 从 0.2 降至 0.006，准确率从 0.536 升至 0.758。
本事件热度走势
- 可比范围当前
- 5
- 可比范围峰值
- 611月6日 12:00
- 近 24 小时变化
- –
0246
12:0013:0014:0015:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。