研究测GPT-4o分类稳定性：24.3%问题标签不一致
热点事件持续更新
研究测GPT-4o分类稳定性：24.3%问题标签不一致
1 篇报道1 个报道来源17 小时前更新
先了解这件事
AI 综述
一项研究测试8种GPT-4o配置将1,200条英国首相问答分类到21个政策主题，准确率在68.2%至70.3%之间，但24.3%的问题在不同重复运行中获得不同标签，需人工复核的问题比例从0.9%到41.0%不等。研究由Louise Yorke发布在arXiv上。 研究还分析了37份英国和欧盟政策文件，称现行AI报告要求未一致覆盖答案变动、共享错误与审查分流等问题，主张以超越总体准确率的核查机制作为公共机构问责依据。
AI 根据报道生成 · 50 分钟前更新
最新进展11月4日 23:31
超越准确率：公共服务中 AI 保障需确立什么报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- arXiv · cs.CL超越准确率：公共服务中 AI 保障需确立什么
一项研究结合技术评估与治理分析，探讨公共机构如何判断 AI 产出证据是否可靠。实验中 8 种 GPT-4o 配置将 1,200 条英国首相问答分类到 21 个政策主题，准确率在 68.2%-70.3% 之间，但 24.3% 的问题在不同重复运行中获得不同标签，标记需人工复核的比例从 0.9% 到 41.0% 不等。研究分析 37 份英国和欧盟政策文件后指出，现行报告要求未一致覆盖答案变动、共享错误与审查分流等问题，主张以超越总体准确率的核查机制作为问责依据。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。