GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分59
worldgen/worldplay 开源:用确定性问题世界评测 LLM Agent
jop8281/worldgen
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/jop8281/worldgen
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
jop8281 开源 worldgen 与 worldplay 两个工具,构建可复现的有状态软件世界(如 helpdesk、支付 API)供 Agent 测试,引擎是唯一判分者,LLM 只负责从描述、OpenAPI 或 CSV 生成世界且不改引擎。评测要求参考解得 1 分、不动作得 0 分、所有诱饵与严格前缀低于 1 分并重放哈希一致。仓库含 25 个世界共 95 个任务,最后一次完整 stress-2 评测(2026-10-07,claude-sonnet-5-5)29 例中 22 例符合预期,单次运行 p50 6.4 分钟、$1.27。
推荐理由
原文给出了引擎判分的判别性证明和完整实测数据,读者可以据此评估用确定性世界评测 Agent 的可行做法。
来源:GitHub · 去对齐工具与仓库 · github.com