GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分57
TruthNian 开源 llm-pomdp-agent-eval 基准:测试智能体在资源约束下接管故障并交付可验收结果
TruthNian/llm-pomdp-agent-eval
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/TruthNian/llm-pomdp-agent-eval
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
TruthNian 发布 llm-pomdp-agent-eval 基准,评估智能体能否在信息不全和资源约束下把模糊故障接管为可验收的业务结果,单元为含失败动作、执行故障和交付成本的完整交互轨迹。GPT-6 Sol 多次在 20-39 个动作内交付,GLM 多次尝试或超时或遗留错误订单,所有高难度目标均未达成,失败尝试与回归锚点全部保留。基准采用 HTTP/SQL 真实业务操作与独立业务评分,不设默认加权智能评分,代码以 Apache-2.0 许可开源。
推荐理由
作者完整公开了各模型在 POMDP 智能体任务上的成败轨迹与失败成本,并对每个候选结论给出明确的适用范围说明。
来源:GitHub · 去对齐工具与仓库 · github.com