跳到正文
arXiv · cs.CL· Bhuvan Arora·· 11 天前AI 评分49

KiranaBench:语言模型能否经营一家社区小店?

KiranaBench: Can a Language Model Run a Neighbourhood Shop?

来源与原文

arXiv · cs.CL

作者:Bhuvan Arora

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.22980v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

研究者推出 KiranaBench,一个模拟印度杂货店的多智能体基准,由四个 LLM 智能体分别扮演经理、收银员、帮手和账房,用英语、印地语或 Hinglish 与顾客和供应商交互,需求按印度家庭消费支出调查校准。评测四个开源权重 LLM 发现,表现最好的模型利润仅为固定规则店主基线的八分之一,两个模型甚至低于无人管理的店铺,且印地语和 Hinglish 下的表现持续弱于英语。结果表明当前 LLM 智能体尚不能可靠地自主经营印度的小生意。

来源:arXiv · cs.CL · arxiv.org