arXiv · cs.CL· Jun Zhao·· 20 天前AI 评分47
LiveMACE:在演化市场中过程感知地评估 LLM 智能体能力
LiveMACE: Process-Aware Evaluation of LLM Agent Capabilities in Evolving Markets
来源与原文
arXiv · cs.CL
作者:Jun Zhao
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.09872v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者推出 LiveMACEBench,以真实金融市场为持续演化测试床,过程感知地评估 LLM 智能体能力。五个前沿 LLM 在 Tool Use、Persistent Memory、Rule Following 和 Multi-Agent Collaboration 匹配配置下运行,经 30 天实时评测发现明显的"结果-能力差距":实际收益常与能力特定指标背离。Trace 级诊断揭示了各能力的不同瓶颈,说明机制访问、有效使用与最终表现并非可互换的能力度量。
来源:arXiv · cs.CL · arxiv.org