arXiv · cs.CL· Bhuvan Arora·· 11 天前AI 评分49
KiranaBench:语言模型能否经营一家社区小店?
KiranaBench: Can a Language Model Run a Neighbourhood Shop?
来源与原文
arXiv · cs.CL
作者:Bhuvan Arora
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.22980v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者推出 KiranaBench,一个模拟印度杂货店的多智能体基准,由四个 LLM 智能体分别扮演经理、收银员、帮手和账房,用英语、印地语或 Hinglish 与顾客和供应商交互,需求按印度家庭消费支出调查校准。评测四个开源权重 LLM 发现,表现最好的模型利润仅为固定规则店主基线的八分之一,两个模型甚至低于无人管理的店铺,且印地语和 Hinglish 下的表现持续弱于英语。结果表明当前 LLM 智能体尚不能可靠地自主经营印度的小生意。
来源:arXiv · cs.CL · arxiv.org