跳到正文
GitHub · 灵魂体仓库·· 12 天前AI 评分42

munimtechnologies 发布 forecast-answer-formats:首个跨工具 LLM 预测答案格式基准

munimtechnologies/forecast-answer-formats

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/munimtechnologies/forecast-answer-formats

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Munim, Inc. 的 MV2 在 GitHub 发布 forecast-answer-formats,首个跨工具基准,检验部署的预测机器人提取器对 LLM 有效答案格式的读取、丢弃与误读情况,覆盖 Metaculus 的 binary、multiple-choice 和 numeric 三类问题。对比 mv2-forecaster 0.1.7 与 Metaculus forecasting-tools:binary 20 例中两者分别 14 与 13 例正确,multiple choice 11 例中 7 对 6,numeric 8 例中 5 对 5,两类提取器各有失败模式、互不占优。语料库以 CC BY 4.0 发布,代码采用 Apache-2.0。

来源:GitHub · 灵魂体仓库 · github.com