arXiv · cs.AI· Viraj Bagal·· 21 天前AI 评分41
前沿模型客户反馈分析运行间不稳定性测量：相同反馈，不同答案
Same Feedback, Different Answer: Measuring Run-to-Run Instability in Frontier-Model Customer Feedback Analysis
来源与原文
arXiv · cs.AI
作者：Viraj Bagal
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.08036v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究提出可重复运行评估框架，用主题流失率和数量分歧两个指标测量 AI 智能体分析非结构化数据的稳定性。在 8 个前沿模型、100 到 5,000 条记录的语料测试中，使用 Claude Opus 4.8 时，基于分类体系的智能体（TGA）相比原始生成和层级分解将主题流失率降低 86–88%，匹配主题的数量分歧为零。该框架也适用于财务报告、法律文档等重复性知识工作。
来源：arXiv · cs.AI · arxiv.org