arXiv · cs.AI· Niklas Wagner·· 11 天前AI 评分39
面向不完美提示词的设计:基于知识图谱的 LLM 企业数据助手仿真评估
Designing for Imperfect Prompts: A Simulation-Based Evaluation of an LLM-Based Enterprise Data Assistant Using Knowledge Graphs
来源与原文
arXiv · cs.AI
作者:Niklas Wagner
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.23304v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
一项设计科学研究在企业 CFO 单位数据湖的真实部署中发现,业务用户的提示词常缺少 schema 引用和结构信息。研究设计并对比了两种语义中介方案:基于语义相似度的 schema 中介,以及利用从数据湖自动构建的知识图谱的中介。仿真评估结合 LLM-as-a-Judge 与人工验证显示,知识图谱方案在 Precision、Recall、F1 和保留用户意图上均优于 schema 方案。
来源:arXiv · cs.AI · arxiv.org