arXiv · cs.CL· Clayton Cohn·· 21 天前AI 评分32
一致不等于有效：LLM 跨模型共识在 K-12 数学辅导对话学生错误诊断中的有效性研究
Agreement Is Not Validity: Cross-Model LLM Consensus in Diagnosing Student Failure Modes in K-12 Math Tutoring Dialogue
来源与原文
arXiv · cs.CL
作者：Clayton Cohn
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.08703v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项针对 K-12 数学辅导对话的探索性研究检验了 LLM 对五种学生失败模式（不确定、错误归因、运算符选择、概念缺口、程序性失误）分类的有效性。结果显示人机一致性仅为中等（kappa = .524-.597），而跨模型一致性明显更高（kappa = .755-.781）。这表明 LLM 间共识会造成正确性的假象，不能替代对学习者解读有效性的独立证据。
来源：arXiv · cs.CL · arxiv.org